Product Launch: KI-basierte Sprachmodelle im Gesundheitswesen

Anfang Januar 2026 stellte ein großes US‑Softwareunternehmen seinen KI‑gestützten Chatbot „Health“ als erweitertes Large Language Model (LLM) mit neuen Gesundheitsfunktionen vor. Er soll selbstständig Patientendaten auswerten. Der neue Gesundheitsbereich ist zunächst nur über eine Warteliste zugänglich; Nutzer in der EU, der Schweiz und im Vereinigten Königreich sind vorerst ausgeschlossen. Die Anwendung wirft wichtige Fragen zum Medizinprodukterecht und zum Umgang mit sensiblen Gesundheitsdaten auf.

Die neue App im Überblick

Seit Januar bietet ein US-Softwareunternehmen für sein LLM einen neuen, separaten Gesundheitsbereich innerhalb der Anwendung Health an. Das LLM (im Folgenden auch „Chatbot“) soll persönliche Gesundheitsdaten mit seinen KI-Funktionen verknüpfen und Nutzern helfen, medizinische Befunde zu verstehen, Arztbesuche vorzubereiten und Fitnessdaten auszuwerten. Das Unternehmen betont, dass das System „in enger Zusammenarbeit mit Ärztinnen und Ärzten aus 60 Ländern“ entwickelt worden sei und die medizinische Versorgung unterstützen solle, sie aber keinesfalls ersetze. 

Kernelement der Health-Anwendung ist zunächst die Einbindung verschiedener Datenquellen inklusive entsprechendem Zugriff, z. B. von Health-Apps der jeweiligen Mobilfunk-Betriebssysteme (z. B. Android oder Apple), in denen verschiedene Gesundheitsdaten und Informationen wie Schrittanzahl, Herzfrequenz, Schlafmuster und absolvierte Trainingseinheiten gebündelt werden können. Auch die Einbindung elektronischer Patientenakten ist (zunächst begrenzt auf die USA) möglich. Der neue Bereich des LLM soll dann etwa auch Labor- und Testergebnisse interpretieren, medizinische Dokumente in verständliche Sprache übersetzen und Ernährungshilfen bieten können. Datenschutzrechtlich soll das LLM um spezielle Schutzmaßnahmen erweitert worden sein, z. B. über einen eigenen Speicherort für Chats, Dateien und App-Verknüpfungen, getrennt von normalen Unterhaltungen („Verschlüsselung und Isolierung“). Gesprächsinhalte der Nutzer des LLM werden laut Anbieter nicht zum Training der Modelle verwendet. Wenn Nutzer im allgemeinen Chat-Bereich Themen mit Gesundheitsbezug ansprechen, soll ihnen vorgeschlagen werden, in den Health-Bereich zu wechseln.

Mögliche Hürden für einen kurzfristigen Start in Europa 

Bislang ist geplant, das neue Produkt zunächst nicht in der EU, der Schweiz und im Vereinigten Königreich anzubieten. Wegen ähnlicher Restriktionen dürfte dies auf regulatorische Hürden hindeuten, die eine Einführung in diesen Ländern zwar verzögern können, aber nicht verhindern müssen.  

So dürften eine mögliche Einordnung als Medizinprodukt nach der EU-Medizinprodukteverordnung 2017/745 (MP-VO) und die daraus folgenden regulatorischen Vorgaben für KI-Medizinprodukte aus der MP-VO und der EU-Verordnung über künstliche Intelligenz 2024/1689 (KI-VO) regulatorische Hürden darstellen. Dabei sind MP-VO und KI-VO bei Medizinprodukten mit KI-Komponenten (also Software) in aller Regel parallel und ergänzend anzuwenden. Für KI-Medizinprodukte sind danach im Regelfall Elemente der Konformitätsbewertung vorgesehen (vgl. für mehr Details Neue EU-KI-Verordnung: Compliance von KI-Systemen – das Konformitätsbewertungsverfahren). In diesem Zuge sind, abhängig von der jeweiligen Risikoklassifizierung, qualifizierte externe sog. „Benannte“ bzw. „notifizierte“ Stellen wie TÜV oder DEKRA einzuschalten und die technische Dokumentation, klinische Bewertung und Konformitätsvermutung auf der Grundlage europäischer „technischer“ Normen sowie die EU-Konformitätserklärung und CE-Kennzeichnung vorzuhalten.  

Zudem sind die Rechte und Pflichten der relevanten Wirtschaftsakteure wie Hersteller bzw. Anbieter, Bevollmächtigte, Importeure, Händler sowie Anwender bzw. Betreiber zu berücksichtigen. Hierzu zählt beispielsweise die Verpflichtung des Herstellers zum Betrieb eines Qualitätsmanagements zur Gewährleistung der Sicherheit und Leistungsfähigkeit der Produkte.  

Aus der KI-VO ergeben sich zusätzliche Anforderungen, unter anderem in den Bereichen Daten und Datenverwaltung, Aufbewahrung von Aufzeichnungen, Transparenz und menschliche Aufsicht. So dürfen etwa unter dem Aspekt der Daten-Governance (Art. 10 KI-VO) nur qualitativ hochwertige Trainings-, Validierungs- und Testdatensätze verwendet werden. Auch die Sicherstellung von Repräsentativität, Bias-Kontrolle und Datenintegrität geht über die allgemeinen Vorgaben für Medizinprodukte hinaus. 

Aber auch datenschutzrechtliche Hürden dürften einen schnellen Zugang in den EU-Markt bremsen. So gelten generell Gesundheitsdaten nach der Datenschutz-Grundverordnung (DSGVO) als besondere Kategorien personenbezogener Daten und unterliegen den Verarbeitungsvoraussetzungen des Art. 9 DSGVO. 

Zulässigkeit des Sprachmodells unter regulatorisch-rechtlicher Betrachtung  

Die neue Health-Anwendung soll die persönlichen Gesundheitsdaten der Nutzer verarbeiten und diese in der medizinischen Versorgung unterstützen. Auch in Deutschland stünde etwa nach erfolgter vollständiger Einführung der elektronischen Patientenakte (ePA) im Gesundheitswesen eine große Masse von Daten für eine weitergehende Verarbeitung durch KI zur Verfügung. Allein die Existenz dieser Daten rechtfertigt den Einsatz der neuen Anwendung aber nicht. Die Einwilligung der Nutzenden vorausgesetzt sind vielmehr stets die MP-VO, die KI-VO sowie die DSGVO als unmittelbar anwendbares EU-Recht zu berücksichtigen. Hinzu kommen jeweils die nationalen Konkretisierungen, beispielsweise das Gesetz zur Durchführung unionsrechtlicher Vorschriften betreffend Medizinprodukte (MPDG) in Deutschland. Daher stellt sich zunächst die wichtige Frage, ob solche neuen LLM-Health-Bereiche künftig unter die MP-VO fallen und unter der KI-VO sowie der DSGVO zulässig wären.  

Software als Medizinprodukt? 

Damit die neue Health-Anwendung dem Anwendungsbereich der MP-VO unterfällt, müsste es sich um ein Medizinprodukt handeln.  

Software ist nach der MP-VO jedenfalls dann ein Medizinprodukt, wenn sie dem Hersteller zufolge für Menschen bestimmt ist und allein oder in Kombination mit […] der Diagnose, Verhütung, Überwachung, Vorhersage, Prognose, Behandlung oder Linderung von Krankheiten („medizinischer Zweck“) dienen soll. Dabei verlangt die Rechtsprechung, dass das Produkt vom Hersteller ausdrücklich für einen medizinischen Zweck bestimmt ist; allein die abstrakte Eignung reicht nicht aus (vgl. EuGH, Urteil vom 22.11.2012 – Az.: C-219/11). Nach Art. 2 Nr. 12 MP-VO ist unter „Zweckbestimmung“ die Verwendung zu verstehen, für die ein Produkt entsprechend den Angaben des Herstellers auf der Kennzeichnung, in der Gebrauchsanweisung oder dem Werbe- oder Verkaufsmaterial bzw. den Werbe- oder Verkaufsangaben und seinen Angaben bei der klinischen Bewertung bestimmt ist. Folglich sind LLM-Anwendungen, die für einen derartigen medizinischen Zweck bereitgestellt und vom Hersteller entsprechend beworben werden, von der MP-VO erfasst.  

Soll der Chatbot hingegen ausschließlich für allgemeine Informationszwecke oder zur Förderung der Patientensouveränität ohne konkreten medizinischen Nutzen eingesetzt werden, fällt er im Regelfall nicht unter die MP-VO. Produkte, die also ausdrücklich nicht für den medizinischen Gebrauch bestimmt sind, unterfallen im Rahmen einer Zusammenschau vielfach nicht unter das Regime der MP-VO, selbst wenn sie technisch geeignet wären, medizinische Informationen zu liefern.  

Im Fall des Chatbot Health verweist das US-Softwareunternehmen in den bisherigen eigenen Verlautbarungen auf den Bereich Gesundheit und will gezielt die Möglichkeit schaffen, medizinische Befunde zu verstehen, Arztbesuche vorzubereiten und Fitnessdaten auszuwerten. Damit unterfiele das Produkt dem medizinischen Zweck der Diagnose und Überwachung oder auch Verhütung von Krankheit, weshalb die Einordnung der Software als Medizinprodukt wahrscheinlich sein dürfte und alle regulatorischen Vorgaben der MP-VO einzuhalten wären.  

Ergänzende Vorgaben nach der KI-VO 

Die KI-VO ergänzt das Regelwerk der MP-VO für KI-Medizinprodukte, indem sie spezifische Anforderungen für Hersteller (s. u.) zur Regulierung von Risiken wie Bias und der Verletzung der (Daten-)Sicherheit einführt, die zusätzlich durch den Einsatz von künstlicher Intelligenz für medizinische Zwecke entstehen. Daher sind MP-VO und KI-VO bei Medizinprodukten mit KI-Komponenten parallel und ergänzend anzuwenden. Um unnötige Bürokratie durch parallele Regulierungsregime zu verringern, sieht Art. 8 Abs. 2 der KI-VO vor, dass die betroffenen Hersteller die erforderlichen Test- und Berichterstattungsverfahren, Informationen und Dokumentationen möglichst in bereits vorhandene Prozesse nach der MP-VO einbinden sollen. Dies dient auch dazu, die Konformität sowohl mit der MP-VO als auch mit der KI-VO sicherzustellen.  

Ein – wie vorliegend – KI-gesteuertes Medizinprodukt ist in aller Regel zugleich auch ein Hochrisiko-KI-System gemäß Art. 6 Abs. 1 der KI-VO. Ist dies der Fall, so unterliegt dessen Anwendung gemäß Art. 8–15 KI-VO umfassenden (auf Software bezogenen) Anforderungen in Bezug auf Risikomanagement, Daten-Governance, technische Dokumentation, Aufzeichnungspflichten, Transparenz und Bereitstellung von Informationen für die Nutzer, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit. Als Medizinprodukt dürfte die vorliegende Software zumindest nicht unter die in Art. 5 KI-VO normierten verbotenen Praktiken fallen. Diese Regelung ist nämlich für Medizinprodukte nicht relevant, weil Medizinprodukte im Sinne der MP-VO generell nicht zu den verbotenen KI-Anwendungen gehören. 

Die Einstufung als Hochrisiko-System bedeutet im Übrigen nicht, dass die Software automatisch auch in eine höhere Risikoklasse nach der MP-VO fällt. Die KI-VO hat keinen Einfluss auf die Risikoklassifizierung von Medizinprodukten nach der MP-VO. 

Datenschutzrechtliche Grenzen 

Innerhalb der EU gelten hinsichtlich des anwendbaren Datenschutzes die einheitlichen Regelungen der DSGVO. Darin ist die Zulässigkeit der Verarbeitung personenbezogener Daten geregelt. Dies gilt auch im Hinblick auf Gesundheitsdaten und für die Verarbeitung durch KI-Modelle und damit ebenfalls für LLM.  

Der Datenhunger der KI-betriebenen LLM sorgt bisweilen für Spannungen mit den Vorschriften der DSGVO, die ein grundsätzliches Verbot mit Erlaubnisvorbehalt – also ein Verbot, sofern keine ausdrückliche Genehmigung oder gesetzliche Ausnahme vorliegt – für die Verarbeitung personenbezogener Daten konstatiert. Gemäß Art. 9 DSGVO ist die Möglichkeit der Verarbeitung von Gesundheitsdaten weitergehend eingeschränkt. Besondere Kategorien personenbezogener Daten dürfen deshalb u. a. nur dann verarbeitet werden, wenn dies auf der Grundlage des Unionsrechts oder des Rechts eines Mitgliedstaats erforderlich ist. In Deutschland wären das bezogen auf Gesundheitsdaten beispielsweise Vorschriften des SGB I und des SGB X.  

Eine vergleichbare Rechtsgrundlage zur Verarbeitung von Gesundheitsdaten durch ein LLM eines Softwareherstellers ist in Deutschland derzeit nicht erkennbar. Zwar besteht weitergehend die grundsätzliche Möglichkeit der Einwilligung des Nutzers, diese muss jedoch nach Art. 9 Abs. 2 lit. a DSGVO ausdrücklich erfolgen. Darüber hinaus dürften die Anforderungen an die Sicherheit der Verarbeitung nach Art. 32 DSGVO und die Hürden einer Drittlandübermittlung – beispielsweise, wenn ein datenverarbeitender Server des LLM außerhalb der EU betrieben wird – insbesondere ein US-Softwareunternehmen vor große Herausforderungen stellen.  

Inwieweit ein LLM, das gezielt persönliche Gesundheitsdaten von Nutzern verarbeitet und diese für die medizinische Versorgung aufbereitet, datenschutzrechtlich auch in Deutschland implementiert werden könnte, werden wir in der Ausgabe des EY Law Newsletters im März 2026 näher beleuchten.