Halluzination (KI)

Keine bezifferte. Das Wort Halluzination kommt in der Verordnung (EU) 2024/1689 über künstliche Intelligenz nicht vor; Artikel 15 verlangt allein für Hochrisiko-Systeme ein angemessenes Maß an Genauigkeit und die Angabe der Genauigkeitsmetriken in der Betriebsanleitung. Absatz 2 überträgt die Entwicklung der Messverfahren erst noch der Kommission. Ein Auskunftsassistent auf einer Firmenwebsite ist regelmäßig kein Hochrisiko-System – für ihn gilt keine gesetzliche Genauigkeitsschwelle, sondern nur das, was der Betreiber selbst zusagt.

59 Antworten, wenn eine Fehlerquote von fünf Prozent mit 95 Prozent Sicherheit auffallen soll. Eine Halluzination tritt nicht bei jedem Durchlauf auf; geprüft wird deshalb eine Quote und nicht eine einzelne Frage. Rechenweg: Bei fünf Prozent bleibt jede gezogene Antwort mit 95 Prozent Wahrscheinlichkeit unauffällig, 0,95 hoch 59 ergibt 4,9 Prozent. Bei zwanzig Antworten liegt die Entdeckungswahrscheinlichkeit erst bei 64 Prozent. Fünf Stichproben ohne Fund belegen nichts.

Erfundene Paketnamen. Ein Coding-Assistent empfiehlt eine Bibliothek, die es nicht gibt; ein Angreifer registriert den Namen und liefert darunter Schadcode aus. Die OWASP-Liste für LLM-Anwendungen führt diesen Weg seit der Fassung 2025 unter LLM09 Misinformation. Eine Untersuchung auf dem USENIX Security Symposium 2025 fand in 576.000 erzeugten Codebeispielen 205.474 verschiedene erfundene Paketnamen, bei quelloffenen Modellen betraf es 21,7 Prozent der Empfehlungen, bei kommerziellen mindestens 5,2 Prozent. Regel: Jeden unbekannten Paketnamen vor dem Einbinden im Verzeichnis nachschlagen.

Die Verantwortung trägt, wer das Dokument einreicht. Das US-Bundesbezirksgericht für den Südlichen Distrikt von New York verhängte am 22. Juni 2023 im Verfahren 22-cv-1461 eine Sanktion von 5.000 US-Dollar, zahlbar binnen 14 Tagen, weil ein Schriftsatz nicht existierende Gerichtsentscheidungen samt wörtlichen Zitaten enthielt. Der Beschluss hält fest, am Einsatz eines KI-Werkzeugs sei nichts von sich aus zu beanstanden – beanstandet wurde die ungeprüfte Einreichung.