Datenschutzrechtliche Aspekte KI-basierter Sprachmodelle im Gesundheitswesen

Nachdem ein großes US-Softwareunternehmen Anfang Januar 2026 sein gesundheitsbezogenes Large Language Model (LLM) vorgestellt hat, stellen sich dazu nicht nur medizinrechtliche, sondern auch datenschutzrechtliche Fragen. Bislang soll das LLM nur für Nutzer außerhalb der Europäischen Union (zuzüglich Schweiz und UK) zugänglich sein. Wäre ein solches Modell aber auch hierzulande datenschutzrechtlich zulässig und was wäre dabei zu beachten?

Einleitung

Der Anfang Januar 2026 in den USA vorgestellte KI-gestützte Chatbot „Health“ soll selbstständig Patientendaten auswerten. Nutzern in der EU, der Schweiz und im Vereinigten Königreich steht er bislang nicht zur Verfügung.

Die Anwendung wirft wichtige Fragen zum Medizinprodukterecht und zum Umgang mit sensiblen Gesundheitsdaten auf – vgl. hierzu Product Launch: KI-basierte Sprachmodelle im Gesundheitswesen. Darüber hinaus stellen sich datenschutzrechtliche Fragen, die wir im Folgenden für Sie beleuchten.

Geplante Funktionen und Anwendungsfälle

Ziel des neuen LLM ist eine Verknüpfung persönlicher Gesundheitsdaten mit KI-gestützten Funktionen. Dadurch sollen sich Nutzer bei der Einordnung von Befunden, der Vorbereitung von Arztbesuchen sowie der Auswertung von Fitness- und Gesundheitsdaten unterstützen lassen können.

Der Fokus liegt auf der Zusammenführung bislang fragmentierter Gesundheitsinformationen. Während heute im Rahmen der Nutzung von Smartphones und Wearables, aber auch bei Arztbesuchen zahlreiche Gesundheitsparameter erfasst und generiert werden, existieren diese oft isoliert voneinander. Das neue Health-LLM soll ein „Big Picture“ ermöglichen, indem Gesundheitsdaten aus unterschiedlichen Quellen zusammengeführt und ganzheitlich dargestellt werden. Dies soll so weit gehen, dass selbst elektronische Patientenakten perspektivisch unmittelbar als Datenquelle in ein LLM eingebunden werden können.

Auf der Basis dieser Daten kann das LLM medizinische Dokumente verständlicher aufbereiten, Labor- und Testergebnisse erklären oder Hinweise zu Ernährung und Lebensstil geben. Gespeichert werden sollen die Daten in einem besonders geschützten Bereich für Gesundheitsinhalte, der nicht zum Training der KI verwendet wird.

Spannungsverhältnis zwischen LLM und Datenschutz

Innerhalb der Europäischen Union gelten hinsichtlich des anwendbaren Datenschutzes die einheitlichen Regelungen der Datenschutz-Grundverordnung (DSGVO). In ihr ist die Zulässigkeit der Verarbeitung personenbezogener Daten geregelt, auch im Hinblick auf Gesundheitsdaten. Solche Daten dürfen gemäß den Bestimmungen des Art. 9 DSGVO u. a. nur mit einer entsprechenden Einwilligung der betroffenen Person verarbeitet werden oder wenn dies auf der Grundlage des Unionsrechts bzw. des Rechts eines Mitgliedstaates erforderlich ist. In Deutschland finden sich einschlägige spezialgesetzliche Regelungen insbesondere im Sozialgesetzbuch, namentlich im SGB I und im SGB X.

Grundsätze der Verarbeitung personenbezogener Daten durch LLM

Im Anwendungsbereich der DSGVO darf jede Verarbeitung personenbezogener Daten ausschließlich auf der Basis einer entsprechenden Rechtsgrundlage erfolgen. Die einschlägigen Rechtsgrundlagen werden innerhalb der DSGVO in Art. 6 (für personenbezogene Daten) bzw. Art. 9 (für besondere Kategorien personenbezogener Daten, insb. Gesundheitsdaten) abschließend aufgezählt – insofern besteht ein Numerus clausus. Die jeweilige Rechtsgrundlage bildet einen Erlaubnistatbestand für eine konkrete Verarbeitung – fehlt es an einer entsprechenden Rechtsgrundlage, ist eine Verarbeitung nicht zulässig. Im Kontext KI-gestützter Anwendungen sind als Rechtsgrundlagen zumeist die Einwilligung des Anwenders nach Art. 6 Abs. 1 lit. a DSGVO oder die Wahrnehmung berechtigter Interessen des Verantwortlichen nach Art. 6 Abs. 1 lit. f DSGVO einschlägig.

Erfolgt eine Verarbeitung auf der Basis einer entsprechenden Rechtsgrundlage und ist sie folglich zulässig, gelten weiterhin die Grundsätze der Verarbeitung nach Art. 5 DSGVO. Insbesondere die Grundsätze der Transparenz (Art. 5 Abs. 1 lit. a DSGVO), der Zweckbindung (Art. 5 Abs. 1 lit. b DSGVO), der Datenminimierung (Art. 5 Abs. 1 lit. c DSGVO) und der Speicherbegrenzung (Art. 5 Abs. 1 lit. e DSGVO) sind in diesem Zusammenhang zu erwähnen.

Im Rahmen der Nutzung von LLM dürfte sich eine Verarbeitung auf der Basis einer entsprechenden Einwilligung der betroffenen Person als durchaus gangbarer Weg erweisen – zumindest in Bezug auf die konkrete Nutzeranfrage.

In aller Regel behalten sich Anbieter von LLM jedoch zusätzlich vor, die Daten, die der Nutzer einem LLM zur Verfügung stellt, zum Training des entsprechenden Modells zu verwenden. Dies stellt eine weitere und damit separate, nicht länger zum ursprünglichen Chat mit dem LLM zugehörige Verarbeitung dar. Eine solche Verarbeitung ließe sich im Grundsatz durch das berechtigte Interesse des Anbieters rechtfertigen. Allerdings ist es für den Nutzer mangels Abgrenzung unmöglich zu erkennen, für welche Art von Training seine bisher offengelegten Daten in welchem Ausmaß (Umfang, Zweck, Zeitraum) verwendet werden. Dies trägt in der Regel dem Transparenzerfordernis der Verarbeitung nicht ausreichend Rechnung. Die Weiterverarbeitung zu Trainingszwecken verstößt darüber hinaus in vielen Fällen auch gegen das Gebot der Zweckbindung – denn der Nutzer gab seine Daten dem LLM ursprünglich zum Zweck der Beantwortung einer persönlichen gesundheitlichen Fragestellung preis. Die Verarbeitung zu Trainingszwecken weicht von diesem ursprünglichen Zweck jedoch in erheblicher Weise ab. Auch die Grundsätze der Datenminimierung und der Speicherbegrenzung sind in vielen Fällen verletzt, wenn eine weitere und längere umfassende Speicherung nach Abschluss der eigentlichen Nutzeranfrage (im Rahmen der ursprünglichen Verarbeitung) erforderlich ist.

Zusätzliche Anforderungen bei Verarbeitung von Gesundheitsdaten

Betrifft die Verarbeitung besondere Kategorien personenbezogener Daten gemäß Art. 9 DSGVO, worunter auch Gesundheitsdaten fallen, gelten zusätzliche Anforderungen. So normiert Art. 9 DSGVO exklusive Erlaubnistatbestände, nach denen die Verarbeitung zulässig ist, und spezifiziert insofern die allgemeinen Erlaubnistatbestände von Art. 6 DSGVO.

Die Möglichkeit zur Einwilligung der betroffenen Person normiert im Grundsatz auch Art. 9 DSGVO und ist somit auch für Verarbeitungen von Gesundheitsdaten eine legitime Rechtsgrundlage. Die Anforderungen daran sind allerdings verschärft: So muss die Einwilligung nach Art. 7 DSGVO ausdrücklich erfolgen. Die Einwilligung gilt dabei weitergehend nur für einen oder mehrere bestimmte Zwecke.

In der Praxis dürfte die Ausdrücklichkeit der Einwilligung keine entscheidende Hürde darstellen. Eine restriktive Auslegung der Anforderungen an festgelegte Zwecke und den Begriff der Verarbeitung könnte einen entsprechenden Umbau der bisherigen User Interfaces gängiger LLM erfordern, sodass für jede (gesundheitsdatenbezogene) Anfrage des Nutzers eine ausdrückliche Einwilligung in die Verarbeitung ebenjener Daten erforderlich würde. Dies mag gewisse Assoziationen mit den auf Nutzerseite unbeliebten Cookie-Bannern wecken, dürfte jedoch in der praktischen Umsetzung keine entscheidende Hürde darstellen. Auch eine Nutzung der Daten nur zu festgelegten Zwecken wäre in einer solchen Konstellation umsetzbar: Ein rechtlich und technisch kategorischer Ausschluss seitens des Anbieters, die Daten zu Trainingszwecken für das LLM zu nutzen und die Verarbeitung auf die Nutzereingabe zu beschränken, würde der Zweckbindung Rechnung tragen und dürfte problemlos in einen entsprechenden Einwilligungsprompt integrierbar sein. Im Falle einer Verarbeitung im Rahmen verschiedener Nutzeranfragen innerhalb des Health Space besteht jedoch die Gefahr, dass Gesundheitsdaten des Nutzers in einem Ausmaß aggregiert und verarbeitet werden, das nicht mehr durch den ursprünglichen Zweck der Verarbeitung gedeckt ist.

Nach Art. 9 Abs. 2 lit. a Hs. 2 DSGVO kann die Rechtsgrundlage einer Einwilligung durch Unionsrecht oder das Recht nationaler Mitgliedstaaten zwar grundsätzlich gänzlich ausgeschlossen werden, jedoch besteht ein solcher Ausschluss in Deutschland in Bezug auf die Verarbeitung durch LLM derzeit nicht. Dennoch sollte dies für die Praxis bedeuten, dass Anbieter grundsätzlich etwaige Änderungen hinsichtlich der Möglichkeit zur Aufhebung der Einwilligung als Rechtsgrundlage für den einzelnen Sachverhalt im Blick behalten sollten.

Sicherheit der Verarbeitung, von Drittlandsübermittlungen und der Anbindung externer Datenquellen

In der Praxis deutlich herausfordernder dürfte sich die Erfüllung der Anforderungen des Art. 32 DSGVO an die Sicherheit der Verarbeitung sowie der Art. 44 ff. DSGVO an die Datenübermittlung, insbesondere in Drittländer, gestalten.

Die durch Art. 32 DSGVO zur Gewährleistung eines Schutzniveaus erforderlichen technischen und organisatorischen Maßnahmen („TOMs“) sind im datenschutzrechtlichen Kontext keinesfalls unbekannt, sondern Voraussetzung sämtlicher Verarbeitungen im Rahmen der DSGVO. Auch wenn die Implementierung von TOMs Softwareunternehmen bereits bekannt ist, sind die Anforderungen an ein angemessenes Schutzniveau im Kontext der Verarbeitung von Gesundheitsdaten deutlich höher anzusetzen, als dies bei der Verarbeitung „gewöhnlicher“ personenbezogener Daten der Fall ist. Insbesondere die Gefahr eines unbefugten Zugangs könnte zu einem besonders hohen Risiko für die Rechte und Freiheiten natürlicher Personen führen und möglicherweise Daten in einer Art und Weise offenlegen, die Rückschlüsse auf den ursprünglichen Nutzer zulassen, sollte beispielsweise keine Pseudonymisierung im Sinne von Art. 32 Abs. 1 lit. a DSGVO erfolgt sein. Dies würde einen ernst zu nehmenden Datenschutzvorfall begründen, der u. a. entsprechende Bußgelder zur Folge haben könnte.

Eine gewisse Restproblematik besteht in diesem Zusammenhang auch an anderer Stelle: Gängige LLM weisen in der Regel die Tendenz auf, den Informationsgehalt gespeicherter Daten, je nach Nutzeranfrage und zur Verfügung stehender Datengrundlage, teilweise erheblich zu verändern bzw. zu kontextualisieren. Dies geht bis hin zu vielfach berichteten „Halluzinationen“. Sollte dies im Zusammenhang mit den Gesundheitsdaten der Nutzer geschehen und die Daten womöglich in dieser veränderten Interpretation gespeichert werden, steht die Frage im Raum, ob eine unbefugte Veränderung und damit eine Verletzung des Schutzes nach Art. 4 Nr. 12 DSGVO vorliegt. Dieses Risiko sollte der Anbieter mit Blick auf Art. 32 Abs. 2 DSGVO unbedingt berücksichtigen und eine entsprechende TOM ergreifen – was einen Zusatzaufwand für ihn darstellen dürfte.

Ebenso kritisch ist die Möglichkeit der Datenübermittlung in Drittländer, sowohl hinsichtlich des Sitzes des Verantwortlichen als auch der Server- und Speicherstandorte. In der Folge greift für die Datenverarbeitung eine doppelte Rechtfertigungspflicht: Neben einer einschlägigen Rechtsgrundlage nach Art. 9 DSGVO muss auch ein gültiger Übermittlungsmechanismus im Sinne der Art. 44 ff. DSGVO bestehen. Gerade im Zusammenhang mit den USA bestehen fortwährend Rechtsunsicherheiten hinsichtlich der Zulässigkeit der Verarbeitung: Das EU–US Data Privacy Framework stellt nur in Grenzen einen vollwertigen Angemessenheitsbeschluss nach Art. 45 DSGVO dar – so ist insbesondere eine Zertifizierung der Unternehmen auf US-Seite erforderlich. Sollte eine Zertifizierung vorliegen, ist zudem zu beachten, dass diese ausschließlich für Serverstandorte innerhalb der USA und unter direkter Kontrolle des jeweiligen Unternehmens gilt. Typische Serverstandorte in weiteren Ländern, beispielsweise Indien, sind hiervon nicht gedeckt; deren Einbeziehung bedarf weiterer Sicherungsmechanismen wie etwa geeigneter Garantien nach Art. 46 DSGVO.

Zusammenfassend lässt sich feststellen, dass LLM – insbesondere bei der Verarbeitung von besonderen Kategorien personenbezogener Daten wie Gesundheitsdaten – strengen Anforderungen an die Sicherheit der Verarbeitung gemäß Art. 32 DSGVO unterliegen. Tritt eine Drittlandsübermittlung hinzu, sind zusätzlich die Anforderungen der Art. 44 ff. DSGVO zu erfüllen. Gerade im Zusammenhang mit den USA dürfte eine gewisse Rechtsunsicherheit bestehen; in der Vergangenheit kam es hier bereits zu kurzfristigen Änderungen der Rechtslage, die auch die Zulässigkeit eines gesundheitsdatenverarbeitenden LLM mit Bezug zu den USA infrage stellen könnten.

Die Zulässigkeit der in den USA für Anfragen an das LLM geplanten Ausweitung der nutzbaren Datenquellen auf Daten aus den elektronischen Patientenakten der Nutzer erscheint in Deutschland fraglich und kaum praktisch umsetzbar. Neben den rechtlichen Erlaubnistatbeständen stellt sich hier auch die Frage der technischen Umsetzung, denn u. a. aus § 341 Abs. 3 SGB V ergibt sich für Anbieter der elektronischen Patientenakte (ePA) die Pflicht, diese nach den Spezifikationen der gematik GmbH bereitzustellen. Die Spezifikationen sehen zumindest derzeit keine Einbindung der ePA in gesundheitsbezogene LLM vor (siehe hierzu auch: Datenspeicherung in der ePA? Überblick und Antworten).

Ausblick: Einfluss des Digital Omnibus

Die EU-Kommission hat im vergangenen November den Entwurf eines „Digital Omnibus“ vorgestellt, der unter anderem auch die DSGVO an einigen Stellen anpassen und die Möglichkeit der Datenverarbeitung durch KI-Anwendungen besser ermöglichen soll (dazu mehr: Der digitale „Omnibus“ soll Daten nutzbar machen – und nimmt die DSGVO an Bord).

Vorgesehen ist unter anderem eine Ergänzung von Art. 9 DSGVO um einen weiteren Erlaubnistatbestand für bestimmte „Restverarbeitungen“ besonderer Kategorien personenbezogener Daten zum Zwecke der Entwicklung und des Betriebs von KI-Modellen, sofern geeignete technische und organisatorische Maßnahmen eine Identifizierbarkeit der betroffenen Personen verhindern.

Diese Änderung kann – im Grundsatz – der Entwicklung und dem Betrieb gesundheitsbezogener LLM zugutekommen. Eine Möglichkeit zur Restverarbeitung von Gesundheitsdaten würde Betreibern von KI-Modellen ein Training mit einer entsprechend erweiterten Datenbasis ermöglichen. Zur Nutzung der Daten der Anwender wäre jedoch zunächst sicherzustellen, dass diese in einer Form vorliegen, die keinen Personenbezug erlaubt. Auch die Einhaltung der weiteren Anforderungen der geplanten Regelung bzgl. technischer und organisatorischer Maßnahmen müsste bei der Nutzung des LLM gewährleistet sein. Sollten vorstehende Punkte tatsächlich erfüllt sein, wäre eine Nutzung entsprechender Datenfragmente de lege ferenda möglich.

Neben der Tatsache, dass etwaige Änderungen des Art. 9 DSGVO durch den Digital Omnibus noch nicht in Kraft getreten sind, stehen einer weitergehenden Datennutzung gegenwärtig überdies zumeist anbietereigene Vorschriften entgegen – nach diesen dürfen in der Regel keine Inhalte aus gesundheitsbezogenen LLM zu Trainingszwecken verwendet werden.