OpenAI erklärt KI-Halluzinationen für unvermeidbar. Für Unternehmen ist das eine Organisationsfrage, keine Technikfrage

KI-Halluzinationen sind kein Bug, den ein Update behebt. Große Sprachmodelle berechnen die wahrscheinlichste Fortsetzung eines Textes. Fakten prüfen sie nicht. Deshalb bleibt ein Rest souverän formulierter Falschaussagen, auch in neueren Modellgenerationen. Für Unternehmen heißt das: Über den Nutzen entscheidet nicht der perfekte Prompt^?Die Eingabe oder Anweisung, mit der ein Nutzer ein Sprachmodell steuert., sondern die Frage, wer welche Ausgabe mit welchem Beleg freigibt.

Diese Verschiebung ist unbequem, weil sie Arbeit macht. Ein besseres Modell kann man einkaufen. Einen funktionierenden Prüfprozess muss man bauen.

Warum halluzinieren Sprachmodelle überhaupt?

Weil sie darauf trainiert sind zu antworten, nicht zu schweigen. In seiner Untersuchung „Why language models hallucinate“ argumentiert OpenAI, gängige Trainings- und Bewertungsverfahren belohnen das Raten: Wer eine plausible Antwort liefert, sammelt im Benchmark^?Standardisierter Test, mit dem KI-Modelle verglichen werden. Aussagekraft hängt stark von Testfragen und Testdaten ab. Punkte, wer „ich weiß es nicht“ sagt, bekommt keine.

Die Logik ist die einer Multiple-Choice-Prüfung. Leer lassen bringt null, Raten bringt manchmal einen Treffer. Ein Modell, das nach dieser Metrik optimiert wird, lernt genau das, was in der Praxis am meisten Schaden anrichtet: selbstsichere Auskunft bei dünner Datenlage. Die Computerwoche fasst diese Argumentation zusammen: Halluzinationen lassen sich mathematisch nicht restlos ausschließen, nur eingrenzen. Auch Telepolis hat diese These aufgegriffen.

Dazu kommt die Bauart. Ein in der „Presse“ besprochenes Buch beschreibt LLMs^?Große Sprachmodelle. Systeme, die aus riesigen Textmengen gelernt haben, welche Wortfolge am wahrscheinlichsten passt. als Linguistikmaschinen, nicht als nachgebaute Gehirne. Das ist mehr als ein Bild: Wer Sprache modelliert, modelliert Sprachmuster, kein Weltwissen. Flüssigkeit und Faktentreue sind zwei verschiedene Größen, und nur die erste wird direkt optimiert.

Werden neue Modelle das Problem nicht einfach lösen?

Bisher nicht. Neuere Benchmark-Auswertungen zeigen bei Faktenfragen weiterhin auffällige Fehlerquoten, quer über die Anbieter hinweg. So hält es der Bericht von The Decoder zu einem neuen Halluzinations-Benchmark fest. Die Kurve zeigt nach unten, die Null erreicht sie nicht.

Bei Benchmarks lohnt der Blick aufs Kleingedruckte, und zwar aus vier Gründen:

• Wer testet, hat ein Interesse. Anbietereigene Zahlen und unabhängige Messungen fallen regelmäßig unterschiedlich aus.
• Die Testfragen entscheiden über das Ergebnis. Nischenwissen ergibt andere Quoten als Allgemeinwissen.
• Eine Quote ist ein Durchschnitt. Ihr konkreter Anwendungsfall kann deutlich darüber liegen, etwa bei firmeninternem Fachvokabular.
• Die Fehlerarten unterscheiden sich stark. Eine falsche Jahreszahl ärgert, eine erfundene Rechtsnorm wird zum Haftungsfall.

Ein Teil des Problems lässt sich über die Anbindung an eigene Dokumente einfangen, gängig als RAG^?Verfahren, bei dem ein Sprachmodell vor der Antwort in hinterlegten Dokumenten nachschlägt und daraus zitiert, statt allein aus dem Trainingswissen zu formulieren.. Das senkt die Fehlerquote, verlagert sie aber auch: Sind die Quelldokumente veraltet, widersprüchlich oder schlecht strukturiert, zitiert das Modell zuverlässig den falschen Stand. Die Tagesschau hat dokumentiert, wie erfundene Belege bis in Beratung und Wissenschaft durchsickern – also dorthin, wo Quellenprüfung zum Handwerk gehört.

Wie lassen sich KI-Halluzinationen im Arbeitsalltag beherrschen?

Indem Sie den Prüfaufwand nach Risiko staffeln, statt ihn pauschal zu verordnen oder pauschal zu sparen. Eine Marketing-Überschrift braucht keine Vier-Augen-Kontrolle. Eine Antwort an eine Aufsichtsbehörde braucht sie zwingend. Wer beides gleich behandelt, macht entweder die Arbeit teuer oder das Ergebnis gefährlich.

Was sich in Projekten bewährt hat, lässt sich in fünf Schritte ordnen:

1. Anwendungsfälle klassifizieren. Drei Stufen genügen meist: frei nutzbar, prüfpflichtig, gesperrt. Entscheidend ist, was ein Fehler anrichtet, nicht die Begeisterung der Abteilung.
2. Quellenpflicht einführen. Bei prüfpflichtigen Ausgaben muss jede Tatsachenbehauptung auf ein benanntes Dokument zeigen, das ein Mensch öffnen kann.
3. Verantwortung namentlich zuweisen. Freigabe ist eine Person, keine Rolle im Organigramm und kein Häkchen im Tool.
4. Stichproben messen und protokollieren. Ohne Fehlerstatistik über einige Wochen bleibt jede Debatte über Qualität Geschmackssache.
5. Rückkanal offen halten. Wer eine Halluzination findet, muss sie in zwei Klicks melden können, sonst erfährt niemand davon.

Der zweite Punkt ist der unbeliebteste und der wirksamste. Sobald eine Quelle mitkommen muss, verschwindet ein großer Teil der Leichtigkeit, die KI-Texte so attraktiv macht. Genau diese Leichtigkeit ist das Problem. Ähnlich läuft es in den Debatten über maschinell erzeugte Inhalte, die Reichweite kosten: Der Schaden entsteht nicht durch schlechte Sprache, sondern durch ungeprüfte Substanz hinter guter Sprache.

Was heißt das für Ihre nächste Entscheidung?

Behandeln Sie Modellausgaben wie den Entwurf eines neuen Mitarbeiters im ersten Monat: brauchbar, schnell, nicht unterschriftsreif. Diese Haltung kostet weniger als jedes Nachtrainieren und schützt besser als jede Formulierungsvorlage.

Mein Eindruck aus Projekten: Der teuerste Fehler ist nicht die Halluzination selbst, sondern die stillschweigende Annahme, jemand anderes habe schon geprüft. In der Reuters-Analyse zur Frage, ob das Geschäftsmodell hinter KI einen grundlegenden Fehler trägt, klingt dieselbe Spannung an, nur eine Ebene höher: Systeme, deren Fehlerquote niemand auf null drückt, lassen sich schwer als Vollautomat verkaufen.

Für Unternehmen ist das eher eine Entlastung als eine Enttäuschung. Wer aufhört, auf das fehlerfreie Modell zu warten, kann heute anfangen, sinnvoll damit zu arbeiten. Zwei Wochen Stichprobenmessung in einem einzigen Prozess genügen, um zu wissen, wo Sie stehen.

Und wer nichts prüft, delegiert seine Sorgfaltspflicht an eine Statistik.