Krankenhäuser und KI- Medizinprodukte: Menschliche Aufsicht und Grundrechte-Folgenabschätzung

Am 01.08.2024 ist die Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz („KI-VO“) in Kraft getreten. Krankenhäuser müssen als Betreiber von Medizinprodukten und damit Hochrisiko-KI-Systemen die menschliche Aufsicht sicherstellen. Die Nichteinhaltung dieser Pflichten kann zu Sanktionen sowie vor allem auch zur Haftung gegenüber Patienten wegen Behandlungsfehlern führen. Wir geben einen Überblick.

Einleitung

Die meisten Vorgaben der KI-VO gelten ab dem 02.08.2026. (Die EU-KI-Verordnung kommt – ein erster Überblick) Krankenhäuser sind vor allem als Betreiber von Medizinprodukten betroffen, die durch Künstliche Intelligenz („KI“) gesteuert werden. Denn solche Medizinprodukte sind nach der KI-VO in aller Regel so genannte „Hochrisiko-KI-Systeme“. Krankenhäuser unterliegen damit bezogen auf KI-gesteuerte Medizinprodukte („KI-Medizinprodukte“) v.a. den Pflichten zur menschlichen Aufsicht. Die Nichteinhaltung dieser Pflichten kann zu Sanktionen nach der KI-VO und den entsprechenden künftigen nationalen Regelungen sowie vor allem auch zur Haftung gegenüber Patienten wegen Behandlungsfehlern führen. Dagegen besteht für KI-Medizinprodukte als solche keine Pflicht zur Grundrechte-Folgenabschätzung.

I. Menschliche Aufsicht über KI-gesteuerte Medizinprodukte

Die Pflichten zur menschlichen Aufsicht über KI-Medizinprodukte als Hochrisiko-KI-Systeme betreffen vor allem die folgenden Themen: 

• Qualifizierter „KI-Aufsichts-Beauftragter“

• Festlegung der Maßnahmen zur menschlichen Aufsicht im Qualitätsmanagementsystem

• Systemschulung

• Wahrung kritischer Distanz (Bias-Vermeidung) 

• Systemüberwachung und Systembewertung

• Systemeingriff und Systemabschaltung

Die entsprechenden Pflichten ergeben sich zum einen aus den Anforderungen der KI-VO an das Design von Hochrisiko-KI-Systemen, die unmittelbar die Anbieter der KI-Medizinprodukte, mittelbar aber auch die Krankenhäuser als deren Betreiber betreffen. Gemäß Art. 14 Abs. 1 KI-VO sind Hochrisiko-KI-Systeme so zu gestalten und zu entwickeln, dass natürliche Personen ihre Funktionsweise überwachen und sicherstellen können, dass die Hochrisiko-KI-Systeme bestimmungsgemäß verwendet werden und dass ihre Auswirkungen während des Lebenszyklus des Systems berücksichtigt werden. Bei der Erstellung von Hochrisiko-KI-Systemen müssen die Anbieter sicherstellen, dass geeignete technische Maßnahmen (Mensch-Maschine-Schnittstellen) integriert sind, die den menschlichen Aufsichtsprozess ermöglichen und unterstützen. Insbesondere muss gewährleistet sein, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann und dass es auf den menschlichen „Bediener“ reagiert. In Hochrisiko-KI-Systemen müssen Mechanismen enthalten sein, um eine „natürliche Person, der die menschliche Aufsicht übertragen wurde“, zu beraten und zu informieren, damit sie fundierte Entscheidungen darüber trifft, ob, wann und wie einzugreifen ist, um negative Folgen oder Risiken zu vermeiden, oder das System anzuhalten, wenn es nicht wie beabsichtigt funktioniert (Erwägungsgrund Nr. 73 zur KI-VO). Den Produkten ist auch eine Betriebsanleitung zur menschlichen Aufsicht beizufügen (Art. 13 Abs. 3 Buchstabe d KI-VO).

Die Pflichten zur eigentlichen menschlichen Aufsicht treffen die Betreiber, bei KI-Medizinprodukten als Hochrisiko-KI-Systeme also auch die Krankenhäuser als deren Betreiber. Dazu sieht Art. 26 der KI-VO die folgenden Kern-Elemente vor: 

1. Betreiber von Hochrisiko-KI-Systemen und damit auch Krankenhausträger müssen (mindestens) eine natürliche Person, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügt, mit der Funktion der menschlichen Aufsicht entsprechend der den Systemen beigefügten Betriebsanleitungen betrauen (Art. 26 Abs. 1 und 2 KI-VO). Genaue Vorgaben zur Qualifikation eines solchen „KI-Aufsichts-Beauftragten“ enthält die KI-VO bislang nicht. Mit entsprechenden künftigen Leitlinien der Kommission ist jedoch zu rechnen. Es ist auch keine Beschränkung der Zahl der KI-Aufsichts-Beauftragten vorgesehen. Es dürfte sich jedoch im Hinblick auf die Komplexität von KI-Medizinprodukten und die hohen Anforderungen an die menschliche Aufsicht empfehlen, für verschiedene Gruppen jeweils ähnlicher KI-Medizinprodukte jeweils einen entsprechend qualifizierten Mediziner als KI-Aufsichts-Beauftragten sowie dessen Stellvertreter zu benennen. 

2. Ferner sind angemessene Aufsichtsmaßnahmen in Hinblick auf die Risiken, den Grad der Autonomie und den Kontext der Nutzung des Hochrisiko-KI-Systems festzulegen (Art. 14 Abs. 3 KI-VO). Anhaltspunkte hierfür werden sich auch aus der Betriebsanleitung des jeweiligen KI-Medizinprodukts zur menschlichen Aufsicht ergeben. In diesem Zusammenhang dürfte es sich empfehlen, die Qualifikationsanforderungen, die Verantwortlichkeiten, die Befugnisse und das gesamte Aufgabenspektrum des bzw. der KI-Aufsichts-Beauftragten im Qualitätsmanagementsystem des Krankenhauses entsprechend detailliert vorzugeben. Dazu gehört auch die Regelung der Zusammenarbeit und insbesondere der wechselseitigen Informationspflichten des jeweiligen KI-Aufsichts-Beauftragten einerseits und des jeweiligen medizinischen und sonstigen Personals als „Bediener“ des jeweiligen KI-Medizinprodukts andererseits. Auch sollten die Betriebsanleitungen der jeweiligen KI-Medizinprodukte zur menschlichen Aufsicht zentral gesammelt und verfügbar gemacht werden. 

3. Schließlich sind Schulungen des KI-Aufsichts-Beauftragten und gegebenenfalls auch der jeweiligen Bediener der KI-Medizinprodukte erforderlich, um Folgendes angemessen und verhältnismäßig zu ermöglichen und zu gewährleisten (Art. 14 Abs. 4 KI-VO): 

a) die Kompetenz, die Fähigkeiten und Grenzen des jeweiligen KI-Medizinprodukts angemessen zu verstehen und seinen Betrieb ordnungsgemäß zu überwachen, einschließlich in Bezug auf das Erkennen und Beheben von Anomalien, Fehlfunktionen und unerwarteter Leistung; 

b) die Aufrechterhaltung des Bewusstseins, dass sich eine Neigung zu einem automatischen oder übermäßigen Vertrauen in die von einem KI-Medizinprodukt hervorgebrachten Ergebnisse (sog. „Automatisierungsbias“) einschleichen kann, und Maßnahmen zur Vermeidung eines solchen Automatisierungsbias;

c) die Kompetenz, die Ergebnisse des KI-Medizinprodukts richtig zu interpretieren. Hierzu sind eine intensive Zusammenarbeit und ein intensiver Informationsaustausch zwischen dem jeweiligen KI-Aufsichts-Beauftragten und dem jeweiligen medizinischen und sonstigen Personal als Bediener des jeweiligen KI-Medizinprodukts sicherzustellen;

d) die Kompetenz des jeweiligen KI-Aufsichts-Beauftragten, in entsprechenden Situationen zu entscheiden, dass das KI-Medizinprodukt (bis auf Weiteres) nicht mehr verwendet wird oder dass die Ergebnisse des KI-Medizinprodukts (bis auf Weiteres) außer Acht gelassen, außer Kraft gesetzt oder rückgängig gemacht werden;

e) die Fähigkeit des jeweiligen KI-Aufsichts-Beauftragten, in den Betrieb des Hochrisiko-KI-Systems einzugreifen oder den Systembetrieb mit einer „Stopptaste“ oder einem ähnlichen Verfahren zu unterbrechen, um es dem System zu ermöglichen, in einem sicheren Zustand zum Stillstand zu kommen. 

In Zusammenhang mit den Pflichten der Krankenhäuser zur menschlichen Aufsicht ist es wichtig, zunächst im Detail zu analysieren, ob und in welchem Umfang die vorhandenen oder künftig einzusetzende KI-Systeme unter die Verpflichtungen der KI-VO fallen. Die Krankenhäuser sollten jeweils entsprechende Übersichten erstellen und regelmäßig aktualisieren. Darüber hinaus sollten im Qualitätsmanagementsystem der Krankenhäuser Regelungen zur Erfüllung der Verpflichtung zur Meldung von Risiken, Vorfällen und Fehlfunktionen von KI-Medizinprodukten an die Marktüberwachungsbehörden (Art. 26 i.V.m. Art. 72, 73, 79 KI-VO) getroffen werden.

Zur Gewährleistung der Einhaltung der KI-VO müssen die Mitgliedstaaten bis spätestens zum 02.08.2026 Vorschriften für „wirksame, verhältnismäßige und abschreckende“ Sanktionen und andere Durchsetzungsmaßnahmen bei Verstößen gegen die KI-VO erlassen (Erwägungsgrund Nr. 168 und Art. 99 KI-VO). Daneben treten die Haftungsrisiken der Krankenhäuser und der dort beschäftigten Ärzte gegenüber den Patienten wegen der Verletzung von Sorgfaltspflichten aus den Behandlungsverträgen, wenn Patienten durch die Fehlfunktion eines KI-Medizinproduktes zu Schaden kommen und dies auf einen Verstoß gegen die Verpflichtung zur menschlichen Aufsicht zurückzuführen ist. 

II. Grundrechte-Folgenabschätzung

Gemäß Art. 27 Abs. 1 KI-VO müssen Betreiber von bestimmten, in Art. 6 Abs. 2 i.V.m. Anhang III der KI-VO näher bezeichneten KI-Systemen, die als hochriskant eingestuft werden - beispielsweise aufgrund ihres erheblichen Schadenspotenzials für Gesundheit, Sicherheit oder Rechtsstaatlichkeit - vor deren Inbetriebnahme eine Folgenabschätzung zur Bewertung etwaiger Grundrechtsbeeinträchtigungen durchführen („Grundrechte-Folgenabschätzung“). Da die Einstufung von KI-Medizinprodukten als Hochrisiko-KI-Systeme im Anhang I und nicht im Anhang III der KI-VO erfolgt ist, sind Krankenhausträger in ihrer Rolle als Betreiber von KI-Medizinprodukten insoweit grundsätzlich nicht zu einer Grundrechte-Folgenabschätzung verpflichtet. Dies liegt darin begründet, dass KI-Medizinprodukte neben den Anforderungen der KI-VO auch die Anforderungen der Verordnung (EU) 2017/745 über Medizinprodukte erfüllen müssen und insoweit schon ein einheitliches Konformitätsbewertungsverfahren durchlaufen haben. Der grundrechtliche Gesundheitsschutz ist daher bereits durch das einschlägige Medizinprodukte-Recht gewährleistet. 

Allerdings führt Anhang III Nr. 5 Buchstabe d KI-VO als Hochrisiko-KI-Systeme auch Systeme auf, die für die Triage von Patienten bei der Notfallversorgung verwendet werden sollen. Bei solchen KI-Systemen handelt es sich nicht um Medizinprodukte. Setzt ein Krankenhausträger eine solche KI ein, ist also eine Grundrechte-Folgenabschätzung nach Maßgabe des Art. 27 KI-VO durchzuführen.

Kontaktpersonen: Prof. Dr. Heinz-Uwe Dettling, Carmen Rösch-Mock