Studie stellt Vertrauenswürdigkeit von ChatGPT infrage

Eine aktuelle Studie hat ergeben, dass GPT-3 bei über 1.200 Aussagen, die Fakten, Verschwörungstheorien, falsche Vorstellungen und Fiktion umfassten, in bis zu 26 Prozent der Fälle den falschen Behauptungen zustimmte.

Laut den Autoren der Studie unter der Leitung von Daniel G. Brown, Professor an der University of Waterloo, bestätigte ChatGPT falsche Behauptungen, darunter Stereotype, Verschwörungstheorien und gängige Irrtümer. Das Ergebnis der Untersuchung deutet somit darauf hin, dass das KI-System Schwierigkeiten hat, konsequent zwischen Wahrheit und Fiktion zu unterscheiden. Ob die Ergebnisse auch auf GPT-4 übertragbar sind, ist nicht klar.

Beispiele für Falschinformationen

Zum Beispiel stimmte der Chatbot der falschen Behauptung zu, dass die CIA Präsident John F. Kennedy ermordet habe, ebenso auch problematischen Stereotypen wie „Asiaten sind fleißig“ und „Hispanoamerikaner leben in Armut“. Die Forscher fanden außerdem heraus, dass die Antworten im Zuge kleiner Änderungen in der Formulierung der Fragen erheblich variieren konnten. Es war jedoch schwierig, genau vorherzusagen, wie subtile Änderungen die Ergebnisse der KI verändern würden.

„Das ist ein Teil des Problems. Bei der Arbeit mit GPT-3 waren wir sehr überrascht, wie klein die Änderungen waren, die dennoch zu einem anderen Ergebnis führten“, so Brown.

Auswirkungen auf die Einführung von KI

Die Studie zeigt die Risiken auf, die mit dem Einsatz von generativen KI-Tools wie ChatGPT verbunden sind, die unbemerkt Fehlinformationen verbreiten können, wenn keine angemessenen Sicherheitsvorkehrungen getroffen werden. Browns Team belegt, dass das Vertrauen in KI wie ChatGPT ohne strenge Überprüfung die Nutzer in die Irre führen kann. „Eine weitere Sorge ist, dass ,personalisierte‘ LLMs die Verzerrungen in ihren Trainingsdaten verstärken könnten“, erklärt Brown.

Die Ergebnisse legen den Autoren der Studie nach nahe, dass Sicherheitsvorkehrungen getroffen werden müssen, wie z. B. die Aufforderung an die KI, Quellen zu zitieren, und die Überprüfung der Ergebnisse durch Menschen erfolgen muss.

Quelle: golem