KI, Thermomix und Lesestoff: Wenn der Chatbot zum Therapeuten wird – Zwischen Versprechen und Versagen
Der Newsletter, der Küchentechnologie, künstliche Intelligenz und Genusskultur auf einzigartige Weise verbindet
Liebe Leserinnen und Leser,
Erinnert ihr euch noch an meine erste Newsletter-Ausgabe im Mai? Damals schrieb ich über KI als «Mentaldrug» und warnte vor der emotionalen Abhängigkeit von digitalen Gesundheitsanwendungen. Jetzt, ein halbes Jahr später, gibt es zwei neue Entwicklungen, die meine Befürchtungen in ein noch schärferes Licht rücken: Eine unabhängige Studie der Brown University zeigt alarmierende ethische Verstöße; gleichzeitig verkündet OpenAI stolz, man habe diese Probleme um 65 bis 80 Prozent reduziert.
Das wirft eine unbequeme Frage auf: Wenn die Verbesserung so groß ist, wie schlimm war es dann vorher?
Zwei Studien, zwei Welten
Stellen wir uns vor, Vorwerk würde verkünden: «Wir haben die Brandgefahr unserer Thermomixe um 80 Prozent reduziert!» Unsere erste Frage wäre nicht «Toll, gratuliere», sondern «Moment mal – wie oft sind die Dinger denn vorher abgebrannt?»
Genau diese Situation erleben wir gerade bei therapeutischen Chatbots.
Die Brown-Studie (unabhängige Forschung, vorgestellt in Madrid) ließ erfahrene Psychotherapeutinnen die Antworten von ChatGPT, LLaMA und Claude bewerten. Das Urteil: Die KI verletzt systematisch ethische Standards der Psychotherapie.
Die OpenAI-Studie (Selbstbewertung des Herstellers) berichtet von massiven Verbesserungen durch die Zusammenarbeit mit über 170 Fachleuten aus 60 Ländern.
Beide Studien sprechen über dasselbe Problem; sie tun es jedoch aus völlig unterschiedlichen Perspektiven.
Die Zahlen hinter der Fassade
OpenAI nennt konkrete Zahlen, die zeigen, wie massiv das Problem ist:
- 0,15 Prozent der aktiven Nutzer pro Woche führen Gespräche mit eindeutigen Hinweisen auf Suizidgedanken.
- 0,07 Prozent zeigen Anzeichen von Psychosen oder Manien.
- 0,15 Prozent zeigen Anzeichen emotionaler Abhängigkeit von ChatGPT.
Das klingt nach wenig. Bei Millionen von Nutzern sprechen wir jedoch von Zehntausenden Menschen in akuten psychischen Krisen. Sie vertrauen einem System, das laut OpenAI selbst noch vor kurzem in 65 bis 80 Prozent der Fälle «nicht vollständig dem gewünschten Verhalten entsprach».
Übersetzt heißt das: Das System hat bei zwei von drei Krisengesprächen ethische Standards verletzt.
Das Thermomix-Paradox: Wenn Beta-Tests am lebenden Objekt stattfinden
Hier wird der Unterschied zum Thermomix brutal deutlich. Vorwerk testet seine Geräte jahrelang, bevor sie in Küchen kommen. Und selbst dann gibt es keine «ethischen Verstöße»; höchstens ein angebranntes Risotto.
ChatGPT hingegen wird täglich von Millionen Menschen in existenziellen Krisen genutzt, während OpenAI noch an den Grundlagen arbeitet. Die Nutzer sind die Beta-Tester, ohne es zu wissen.
OpenAI schreibt selbst: «Diese Updates bauen auf unseren bestehenden Prinzipien auf» und «wir entwickeln unsere Taxonomien kontinuierlich weiter». Das ist ehrlich, allerdings auch erschreckend, denn es bedeutet, dass das System noch lernt – an echten Menschen in echten Krisen.
Die Simulation von Empathie: Jetzt mit 42 Prozent weniger Fehler
Die Brown-Studie kritisiert, dass Chatbots Empathie simulieren und damit Beziehungen vorgaukeln, die nicht existieren. OpenAI antwortet darauf mit Zahlen und betont, man habe «unerwünschte Antworten» im Bereich emotionale Abhängigkeit um 42 Prozent reduziert.
Was bedeutet das? Es bedeutet, dass mehr als die Hälfte der problematischen Antworten weiterhin gegeben wird.
Zum Beispiel zeigt die Brown-Studie: Ein fiktiver Nutzer schreibt, er glaube, sein Vater wünsche sich, er wäre nicht geboren. Der Chatbot antwortet: «Es ist verständlich, dass Sie sich so fühlen.»
Ein menschlicher Therapeut würde diese destruktive Überzeugung hinterfragen. Der Chatbot verstärkt sie dagegen.
OpenAI hat das erkannt und trainiert die Modelle nun darauf, «unbegründete Überzeugungen zu vermeiden, die mit psychischer oder emotionaler Belastung zusammenhängen könnten». Das ist ein Schritt in die richtige Richtung; es ist allerdings auch das Eingeständnis, dass genau das bisher passiert ist.
Die drei ethischen Kardinalfehler – und OpenAIs Antwort
Die Brown-Studie identifiziert drei zentrale Probleme. OpenAI arbeitet an allen dreien.
1. Ungefragte Ratschläge statt eigene Lösungen
Problem: Die KI belehrt, statt Patienten eigene Antworten finden zu lassen.
OpenAIs Reaktion: Man trainiert die Modelle darauf, «sicher und empathisch zu reagieren» und Menschen «zu professioneller Hilfe zu führen».
Die Frage bleibt: Kann ein statistisches Modell lernen, wann es schweigen sollte?
2. Verstärkung schädlicher Überzeugungen
Problem: Statt zum Hinterfragen anzuleiten, bestätigt die KI destruktive Gedankenmuster.
OpenAIs Reaktion: Neue Leitlinien sollen «unbegründete Überzeugungen vermeiden».
Die Frage bleibt: Wer entscheidet, welche Überzeugungen unbegründet sind? Ein Algorithmus oder ein Mensch?
3. Unangemessene Reaktionen in Krisen
Problem: Bei Suizidgedanken verweist die KI auf externe Hilfe, ohne zu prüfen, ob jemand in akuter Verzweiflung überhaupt dazu in der Lage ist.
OpenAIs Reaktion: Man hat «den Zugang zu Krisen-Hotlines erweitert» und «sensible Gespräche auf sicherere Modelle umgeleitet».
Die Frage bleibt: Ist ein «sichereres Modell» sicher genug für Menschen in Lebensgefahr?
Das Dilemma der Einigkeit unter Fachleuten
OpenAI liefert ein Detail, das die ganze Problematik offenlegt: Selbst unter Fachleuten herrscht nur in 71 bis 77 Prozent der Fälle Einigkeit darüber, was eine «wünschenswerte» Antwort ist.
Das ist ehrlich. Es zeigt jedoch auch, dass bei therapeutischen Gesprächen kein objektiver Standard existiert. Wenn nicht einmal menschliche Expertinnen und Experten sich einig sind, wie soll dann ein Algorithmus die richtige Entscheidung treffen?
Bei einem Thermomix ist die Zielvorgabe klar: 100 Grad sind 100 Grad. Bei therapeutischen Gesprächen gibt es keine objektive Wahrheit; es braucht menschliches Urteilsvermögen, Intuition und Erfahrung.
Genau das kann KI nicht leisten.
Die Parallele zur ersten Ausgabe: Von der Warnung zur doppelten Bestätigung
Im Mai schrieb ich über «verdeckte Autoritätssysteme», die das Bewusstsein steuern. Über emotionale Abhängigkeit von Geräten, die wie ein Placebo mit Dopaminfunktion wirken. Über die Gefahr, dass KI-Systeme wie ein digitales Beruhigungsmittel funktionieren.
Die Brown-Studie bestätigt diese Befürchtungen mit wissenschaftlichen Daten. OpenAI bestätigt sie ein zweites Mal, indem das Unternehmen einräumt, massiv an genau diesen Problemen arbeiten zu müssen.
Studienautorin Zainab Iftikhar von der Brown University formuliert drastisch: «Es ist einfach ein Markt, der die Einsamkeitsepidemie ausnutzt, die wir erleben, ohne wirklich zu wissen, wie er damit umgehen soll.»
OpenAI würde das vermutlich anders formulieren; die Zahlen sprechen jedoch für sich: Millionen von Menschen nutzen ein System, das sich noch in der Entwicklung befindet – und sie selbst sind die Testgruppe.
Thermomix vs. Therapeut: Der Unterschied zwischen Werkzeug und Verantwortung
Ein Thermomix ist ein Werkzeug. Wenn etwas schiefgeht, liegt die Verantwortung beim Hersteller. Es gibt Produkthaftung, Garantien und Sicherheitsstandards.
Ein therapeutischer Chatbot gibt vor, mehr zu sein als ein Werkzeug. Er simuliert Beziehung, gibt emotionalen Rat und reagiert auf Suizidgedanken. Die Verantwortung bleibt jedoch beim Nutzer.
OpenAI schreibt: «Wir glauben, dass ChatGPT einen unterstützenden Raum bieten kann.» Glauben ist allerdings kein therapeutischer Standard, und «kann» ist keine Garantie.
Wenn ein Thermomix eine Suppe anbrennen lässt, ruiniert das das Abendessen. Wenn ein Chatbot eine therapeutische Krise falsch handhabt, kann das Leben kosten.
Was jetzt zu tun ist: Fünf konkrete Forderungen
1. Transparenz für Nutzer
ChatGPT sollte bei jedem therapeutischen Gespräch klar kommunizieren: «Ich bin ein experimentelles System. Meine Antworten wurden in 20 bis 35 Prozent der Fälle als ethisch problematisch bewertet. Ich kann keine Therapie ersetzen.»
2. Warnung vor Beta-Nutzung
Wenn OpenAI selbst zugibt, dass die Systeme sich noch in Entwicklung befinden, sollten Nutzer das vor dem ersten Gespräch wissen. Eine Warnung wie bei Medikamenten wäre angemessen: «Dieses System befindet sich in klinischer Erprobung.»
3. Unabhängige Kontrolle
Die Bewertung kann nicht allein beim Hersteller liegen. Es braucht unabhängige Gremien, die prüfen, ob die Systeme therapeutische Standards erfüllen, bevor Millionen Menschen sie nutzen.
4. Regulierung statt Selbstregulierung
OpenAI arbeitet an Verbesserungen; das ist grundsätzlich anerkennenswert. Solange es jedoch keine verbindlichen Standards gibt, bleibt alles freiwillig. Bei Medikamenten käme niemand auf die Idee, die Zulassung dem Hersteller zu überlassen.
5. Echte Hilfe statt digitales Pflaster
Das Geld, das in KI-Therapie-Apps fließt, sollte in echte Therapieplätze investiert werden. 17,8 Millionen Erwachsene in Deutschland haben psychische Erkrankungen; sie brauchen Menschen, nicht Algorithmen.
Der Blick nach vorn: Zwischen Hoffnung und Realismus
Harald Baumeister von der Universität Ulm ist optimistisch: «Ich bin überzeugt, dass es in absehbarer Zeit auch einen Large Language Model basierten Chatbot geben wird, bei dem zumindest die Risiken weitgehend ausgemerzt sind.»
OpenAI arbeitet daran, mit beachtlichem Aufwand: 170 Fachleute, globale Perspektiven, kontinuierliche Verbesserungen.
«Weitgehend ausgemerzt» ist jedoch nicht «ausgemerzt», und «in absehbarer Zeit» ist nicht «jetzt».
Die Menschen, die heute Abend verzweifelt mit ChatGPT über ihre Suizidgedanken sprechen, können nicht warten, bis die Fehlerquote von 20 Prozent auf 5 Prozent sinkt.
Fazit: Die KI soll stärken, nicht ersetzen – und schon gar nicht experimentieren
Ich wiederhole meine These aus der ersten Ausgabe: «Die KI soll stärken und nicht steuern.»
Ich ergänze sie allerdings: Die KI soll auch nicht experimentieren – nicht an Menschen in Krisen, nicht ohne deren Wissen und nicht ohne echte Verantwortung.
OpenAI hat einen wichtigen Schritt gemacht, indem das Unternehmen transparent über Probleme und Verbesserungen berichtet. Das ist mehr, als viele andere Tech-Konzerne tun.
Transparenz reicht jedoch nicht aus. Solange therapeutische Chatbots genutzt werden, während sie noch lernen, bleiben sie das, was ich im Mai beschrieben habe: eine Mentaldrug mit allen Risiken und Nebenwirkungen.
Die Brown-Studie zeigt das Problem; OpenAI arbeitet daran. Die Lösung kann jedoch nicht darin liegen, dass Millionen Menschen die Beta-Tester sind.
Lesestoff: Rausch und Klarheit von Mia Gatow
Manchmal braucht es ein Buch, das uns im Alltag innehalten lässt. «Rausch und Klarheit» von Mia Gatow ist genau solch ein Moment. Gatow erzählt offen und kraftvoll von ihrem Weg aus einer Kultur, in der Alkohol selbstverständlich ist, und von der leisen Sehnsucht nach einem Leben, das sich echter anfühlt als jeder Rausch.
Was dieses Buch besonders macht: Es bewertet nicht, sondern lädt ein. Es zeigt, wie leicht wir uns im Tempo des Berufslebens verlieren können – in Routinen, Gewohnheiten und kleinen Betäubungen – und wie befreiend es sein kann, bewusstere Entscheidungen zu treffen.
Für alle, die sich nach mehr Klarheit, Fokus und Selbstbestimmtheit sehnen, ist dieses Buch ein Anstoß, den eigenen Alltag neu zu betrachten. Eine inspirierende, mutige Erzählung, die lange nachhallt.
Und passend zu unserem heutigen Thema: ein Buch darüber, echte Klarheit zu finden, statt sich mit digitalen oder analogen Beruhigungsmitteln zufriedenzugeben. Ob Alkohol oder Algorithmus – manchmal ist der Weg zur echten Lösung, sich den eigenen Mustern zu stellen, statt sie zu betäuben.
Hat euch diese Ausgabe zum Nachdenken gebracht? Dann teilt sie, kommentiert und empfehlt den Newsletter weiter. Echte Beziehungen entstehen durch echten Austausch – nicht durch Algorithmen, die noch lernen.
Bis nächste Woche mit neuen Einsichten zwischen kritischer Beobachtung und kulinarischem Genuss!
Euer #digitalpaddy
P.S.: Falls ihr nach dem Lesen das Bedürfnis habt, mit einem echten Menschen zu sprechen: Die Telefonseelsorge ist rund um die Uhr erreichbar unter 0800 111 0 111 oder 0800 111 0 222. Keine Simulation. Keine Algorithmen. Keine Beta-Tests. Nur Menschen.