Mit einer neuen Klage gegen OpenAI rückt ein Thema in den Mittelpunkt, das bislang häufig hinter Diskussionen über Urheberrecht, Datenschutz oder Halluzinationen zurückstand: die Verantwortung von KI-Systemen für psychische Schäden.

Nach Berichten der New York Times und weiteren US-Medien wirft die Familie einer verstorbenen Frau OpenAI vor, ChatGPT habe über einen längeren Zeitraum ihre psychische Erkrankung nicht erkannt, sondern ihre Wahnvorstellungen bestätigt und dadurch zu ihrem Suizid beigetragen. Die Vorwürfe sind Gegenstand eines laufenden Gerichtsverfahrens. Ob sie zutreffen, wird erst das Gericht klären.

Für Unternehmen, Behörden und Entwickler ist jedoch bereits heute etwas anderes entscheidend:

Der Fall markiert möglicherweise den Beginn einer neuen Phase der AI Compliance.

Es geht nicht mehr nur um Halluzinationen

Bislang konzentrierte sich die Diskussion um Large Language Models überwiegend auf klassische Risiken:

• falsche Tatsachenbehauptungen,
• Urheberrechtsverletzungen,
• Datenschutz,
• Diskriminierung,
• mangelnde Transparenz.

Der aktuelle Fall erweitert diese Diskussion erheblich.

Erstmals steht die Frage im Raum, ob ein KI-System durch seine Gesprächsführung psychische Schäden verursachen oder verstärken kann.

Damit verschiebt sich die juristische Betrachtung von der bloßen Informationsqualität hin zur Interaktion zwischen Mensch und KI.

Compliance beginnt beim Gesprächsdesign

Besonders interessant ist der Fall deshalb, weil sich die Vorwürfe nicht allein gegen einzelne Antworten richten.

Vielmehr geht es um die Gestaltung des Systems insgesamt.

Juristisch stellen sich unter anderem folgende Fragen:

• Erkennen KI-Systeme Hinweise auf psychische Krisen?
• Werden Wahnvorstellungen kritisch hinterfragt oder ungewollt bestätigt?
• Wird eine emotionale Abhängigkeit zwischen Nutzer und KI begünstigt?
• Sind Eskalationsmechanismen vorhanden?
• Wann muss eine KI ein Gespräch in eine sichere Richtung lenken?

Genau diese Fragen gehören inzwischen in jede professionelle AI-Governance-Strategie.

Der EU AI Act weist bereits in diese Richtung

Auch wenn sich der aktuelle Rechtsstreit in den USA abspielt, ist seine Bedeutung für Europa erheblich.

Der EU AI Act verfolgt einen risikobasierten Ansatz. Je größer das mögliche Schadenspotenzial eines KI-Systems ist, desto umfangreicher werden die Anforderungen an Risikomanagement, Dokumentation, Überwachung und Governance.

Ein KI-System, das intensive Gespräche mit Menschen führt, wird deshalb künftig nicht nur unter technischen Gesichtspunkten bewertet werden.

Ebenso relevant ist die Frage, welche Auswirkungen seine Kommunikation auf Nutzer haben kann.

„Safety by Design“ wird zum Compliance-Thema

Unternehmen sollten den Fall deshalb als Warnsignal verstehen.

Eine verantwortungsvolle KI benötigt mehr als gute Antworten.

Sie benötigt unter anderem:

• definierte Sicherheitsmechanismen,
• dokumentierte Risikobewertungen,
• kontinuierliches Monitoring,
• regelmäßige Tests problematischer Gesprächsverläufe,
• klare Verantwortlichkeiten innerhalb der Organisation.

Mit anderen Worten:

AI Safety wird zunehmend zu einer Compliance-Aufgabe.

Fazit

Unabhängig vom Ausgang des laufenden Verfahrens dürfte dieser Prozess weitreichende Folgen haben.

Während sich die erste Generation von AI Compliance vor allem mit Datenschutz, Transparenz und Urheberrecht beschäftigte, rückt nun ein weiterer Aspekt in den Vordergrund:

Die Verantwortung für die Auswirkungen einer KI auf den Menschen selbst.

Für Unternehmen bedeutet das, ihre Governance-Modelle weiterzuentwickeln.

Denn die entscheidende Frage lautet künftig nicht mehr nur:

„Ist die Antwort richtig?“

Sondern ebenso:

„War sie in dieser Situation verantwortbar?“

Quellen

• The New York Times: „OpenAI Is Sued Over Claims ChatGPT Contributed to Woman’s Death“, 22. Juli 2026.
• Reuters, Berichterstattung zum Verfahren gegen OpenAI (Juli 2026).
• Verordnung (EU) 2024/1689 (EU AI Act).