Mit „Antworten sind eventuell nicht ganz richtig“ (Ecosia) und „ChatGPT can make mistakes. Consider checking important information.“ verweisen die Anbieter von KI-Chatbots auf den Umstand, dass ihre Produkte bei schwacher Quellenlage halluzinieren. Und das geschieht auch an Stellen, bei denen es nicht zu vermuten ist. Ein Erfahrungsbericht.
Gerade lese ich einen Roman, in dem das Zitat Ihr küsst recht nach der Kunst
verwendet wird. Um die Quelle zu finden, habe ich binnen weniger Tage mehrere KI-Chatbots danach befragt. Das Original stammt aus William Shakespeares „Romeo und Julia“. Julia sagt es im ersten Akt, fünfte Szene zu Romeo.
Fehlinformationen
Die von mir befragten KI-Chatbots antworteten unterschiedlich.
Ecosia KI-Chatbot
Ecosia ist eine Suchmaschine, die auch einen KI-Chatbot anbietet. Als ich den am 22.02.2024 nach dem Zitat befragte, sah das so aus:
Woher stammt das Zitat „Ihr küsst recht nach der Kunst“?
Das Zitat „Ihr küsst recht nach der Kunst“ stammt aus dem Drama „Faust“ von Johann Wolfgang von Goethe. In dieser Szene spricht Faust diese Worte zu Margarete, auch bekannt als Gretchen. Es ist Teil einer der berühmtesten Liebesszenen der deutschen Literatur.
Benenne die Fundstelle
Das Zitat „Ihr küsst recht nach der Kunst“ findet sich im ersten Teil von Goethes „Faust“ in der Szene „Abend“.
Nicht nur, dass die Antwort falsch war, der Chatbot schrieb mir auf Nachfrage auch umliegende Dialogzeilen auf, die es so nicht gibt.
ChatGPT3.5
Tags darauf gab ich den selben Prompt bei ChatGPT3.5 ein und erhielt eine ähnlich falsche Auskunft: Auch ChatGPT schrieb das Zitat Goethe zu, bestand sogar darauf und korrigierte sich erst nach Hinweis auf Romeo und Julia.
Copilot
Microsofts KI-Chatbot basiert auf GPT-4 und gab am 24.02.2024 eine bessere Antwort.
Copilot
Das Zitat “Ihr küsst recht nach der Kunst” stammt aus Shakespeares Drama “Romeo und Julia”. In der Szene, in der Romeo und Julia sich zum ersten Mal begegnen, tauschen sie leidenschaftliche Küsse aus. Julia bemerkt dabei, dass Romeo besonders geschickt im Küssen ist und sagt zu ihm: “Ihr küsst recht nach der Kunst” 1. Dieser Moment markiert den Beginn ihrer tragischen Liebesgeschichte.[…]
Ecosia, 2. Versuch
Als ich am 25.02.2024 den Prompt erneut beim KI-Chatbot eingab, war die Antwort besser, doch nicht korrekt. Werk und Autor stimmten zwar, doch der Bot benannte die falsche Fundstelle und schrieb das Zitat der falschen Rolle zu.
Lehren
Überprüfen Sie Antworten von KI-Chatbots grundsätzlich und im Detail, denn:
– Selbst ein Werk von Goethe oder Shakespeare kann von einer KI falsch „verinnerlicht“ sein.
– Antworten von unterschiedlichen KIs können unterschiedlich falsch sein.
– Antworten einer KI können zu verschiedenen Zeiten unterschiedlich falsch sein.