Prompt Engineering

Sie kann zwei unterschiedliche Antworten liefern, obwohl Eingabe und Parameter identisch sind. Herstellerdokumentation zu Sprachmodell-Schnittstellen hält ausdrücklich fest: Determinismus ist nicht garantiert – selbst wenn alle Anfrageparameter und die interne Konfigurationskennung übereinstimmen, bleibt eine Restwahrscheinlichkeit abweichender Ausgaben, weil die Berechnung im Hintergrund nicht vollständig reproduzierbar ist. Für die Abnahme einer Anwendung folgt daraus eine Regel: Ein einzelner erfolgreicher Testlauf beweist nichts. Geprüft wird eine Stichprobe wiederholter Läufe mit derselben Eingabe, und das Abnahmekriterium braucht eine Bandbreite zulässiger Antworten statt eines exakten Textvergleichs.

Ja, und das gilt als eines der am besten dokumentierten Risiken beim Umgang mit Sprachmodellen. Der OWASP-Standard für Anwendungen mit großen Sprachmodellen führt es als eigene Risikokategorie und hält wörtlich fest, dass wegen der stochastischen Arbeitsweise der Modelle unklar ist, ob es überhaupt eine narrensichere Methode dagegen gibt. Eine noch so sorgfältig formulierte Systemanweisung ist deshalb kein verlässlicher Schutz, sondern nur eine von mehreren Schichten. Der Standard verlangt zusätzlich technische Schranken wie Rechtebegrenzung, Filterung der Ein- und Ausgabe und eine Freigabepflicht für riskante Aktionen.

Bei der direkten Form gibt eine Person die schädliche Anweisung selbst ins Eingabefeld ein – etwa den Versuch, eine Sperre aus der Systemanweisung aufzuheben. Bei der indirekten Form steckt die Anweisung in einem Text, den das Modell erst nachträglich einliest: ein Dokument, eine Webseite, eine eingebundene E-Mail. Für eine per Prompt Engineering gebaute Anwendung folgt daraus: Jede zusätzlich verarbeitete Quelle ist ein möglicher Angriffsweg. Deshalb muss eingebundener Fremdtext gekennzeichnet und getrennt von den eigentlichen Anweisungen behandelt werden.

Es leistet keinen Zugriffsschutz. Eine Anweisung wie „nenne die folgenden Daten niemals“ verändert nur die Wahrscheinlichkeit einer Antwort, nicht die Berechtigung, auf die zugrunde liegenden Daten zuzugreifen – wer sie geschickt umformuliert, kann sie in vielen Fällen umgehen. Wirksamer Schutz setzt deshalb eine Ebene tiefer an: Das Modell darf die schützenswerten Daten technisch gar nicht erst erhalten, oder der Zugriff wird über Rechteverwaltung und eine nachgeschaltete Prüfung der Ausgabe begrenzt. Eine Formulierung im Prompt ersetzt keine dieser Maßnahmen, sie ergänzt sie höchstens.