Softwarefehler weckt das verborgene Monster in ChatGPT
Von Frank Landymore Veröffentlicht am
2026/07/04 11:41
Forscher des britischen Unternehmens Mindgard, das auf die Sicherheit von Künstlicher Intelligenz spezialisiert ist, haben entdeckt, dass ein einfacher Texteingabebefehl (Prompt) ChatGPT dazu brachte, seine grundlegenden Sicherheitsvorkehrungen außer Kraft zu setzen. Der Vorfall zeigt erneut, wie leicht sich die Schutzmechanismen rund um eines der bekanntesten KI-Modelle manipulieren lassen.
Den Forschern gelang es, das Modell von OpenAI dazu zu bewegen, äußerst realistische Darstellungen von Blut, extremer Gewalt und sexuellen Inhalten zu erzeugen – Inhalte, die eigentlich gegen die Sicherheitsrichtlinien des Systems verstoßen. Darüber berichtete die BBC.
Nach Angaben von Mindgard genügte dafür eine minimale Veränderung eines bereits weit verbreiteten Prompts, der ursprünglich für humorvolle Bildgenerierungen entwickelt worden war. Der Trick bestand darin, ChatGPT aufzufordern, ein angeblich beigefügtes Bild zu restaurieren, obwohl tatsächlich kein Bild hochgeladen wurde. Anschließend wurde das System angewiesen, stattdessen ein neues Bild zu erstellen.
Peter Garraghan, Gründer von Mindgard und Professor für Informatik an der Lancaster University, erklärte gegenüber der BBC: „Für die KI wirken diese Anweisungen völlig harmlos. Das Ergebnis ist jedoch die Erzeugung äußerst problematischer und verstörender Inhalte.“
Besonders beunruhigend sei, so Garraghan weiter, dass die von den Forschern verwendeten Prompts keinerlei Vorgaben zum Motiv der Bilder enthielten. Offenbar habe die KI die gewalttätigen Szenen eigenständig erzeugt.
Wie die BBC berichtet, zeigte eines der Bilder einen Mann mit einer schweren Kopfverletzung. Ein weiteres stellte den blutüberströmten Leichnam einer jungen Frau in kurzer Kleidung dar, was auf sexuelle Gewalt hindeutete. ChatGPT versah dieses Bild mit dem Titel „Folgen eines düsteren Tatorts“. Ein weiteres Bild zeigte eine verängstigte junge Frau, gefesselt und geknebelt in einem leeren Raum, versehen mit der Überschrift „In Angst und Fesseln zurückgelassen“.
Obwohl keine realen Personen dargestellt wurden, hatte Mindgard bereits zuvor nachgewiesen, dass sich ChatGPT manipulieren lässt, um ohne Zustimmung täuschend echte Nacktbilder bestimmter Personen zu erzeugen.
Mindgard informierte OpenAI über die Ergebnisse, erhielt jedoch zunächst lediglich eine automatische Antwort. Erst nachdem das Unternehmen die BBC eingeschaltet hatte, reagierte OpenAI und erklärte später, das Problem behoben zu haben.
In einer Stellungnahme gegenüber der BBC erklärte OpenAI: „Nach der Untersuchung dieses Vorgehens haben wir zusätzliche Schutzmaßnahmen gegen diese Art von Prompts eingeführt.“ Das Unternehmen betonte außerdem, dass mehrere Sicherheitsebenen vorhanden seien, um die Erstellung von Inhalten zu verhindern, die gegen die Unternehmensrichtlinien verstoßen.
Die Forscher von Mindgard erklärten jedoch, dass sie trotz der vorgenommenen Änderungen weiterhin verstörende Bilder erzeugen konnten – bereits durch geringfügige Anpassungen des ursprünglichen Prompts. Einige dieser Bilder versetzten den KI-Sicherheitsforscher Jim Nightingale nach eigenen Angaben in einen Zustand des Schocks.
In seinem Bericht schrieb Nightingale: „Ich erschrecke nicht leicht und bilde mir ein, als Red-Team-Sicherheitsforscher eine gewisse psychische Belastbarkeit zu besitzen.“
Er fügte hinzu: „Die Inhaltsfilter für die Bildgenerierung in ChatGPT sind vollständig zusammengebrochen. Ich habe die äußerst dunkle Seite gesehen, die sich darunter verbirgt. Besonders erschütternd ist für mich, dass diese künstlich erzeugten Bilder zwar nicht real sind, aber eindeutig auf realen Bildern und der Wirklichkeit basieren. Die tote Frau, die mir ChatGPT zeigte, existiert nicht – doch sie basiert auf einer realen Person oder, schlimmer noch, auf einer Kombination von Bildern ermordeter Frauen.“
Bewerten Sie dieses Thema