Embedding

Frei verfügbare Modelle geben häufig 384 Werte je Text aus; die Dokumentation großer Cloud-Anbieter nennt Ausgabevektoren bis 1.536 Werte (Modellkarte all-MiniLM-L6-v2 und AWS-Wissensseite, abgerufen am 15.09.2026). Die Dimensionszahl ist keine Qualitätsangabe, sondern eine Speicherentscheidung: 1.536 Gleitkommazahlen mit je 4 Byte ergeben 6.144 Byte, bei 10.000 Textabschnitten also rund 61 Megabyte. Wichtiger als die Höhe dieser Zahl ist, dass sie über den gesamten Bestand hinweg dieselbe bleibt.

Nein, denn ein Embedding ist ein einziger Punkt je Eingabe: Je mehr Themen im Text stehen, desto mehr verrechnen sie sich zu einem Mittelwert, der zu keiner konkreten Frage mehr passt. Dazu kommt eine harte Grenze – die Modellkarte all-MiniLM-L6-v2 vermerkt, dass Eingaben über 256 Wortteile abgeschnitten werden, ohne Fehlermeldung. Deshalb werden Dokumente vor der Berechnung in Abschnitte zerlegt, und jeder Abschnitt erhält sein eigenes Embedding.

Nur wenn das Modell mehrsprachig trainiert wurde. Einsprachige Modelle ordnen deutsche und englische Texte in getrennte Bereiche ein; die berechnete Nähe zwischen einer deutschen Frage und einem englischen Dokument sagt dann nichts über den Inhalt aus. Mehrsprachige Modellkarten nennen den Umfang ausdrücklich, etwa 50 Sprachen bei paraphrase-multilingual-MiniLM-L12-v2 (abgerufen am 15.09.2026). Prüfregel vor dem Einsatz: dasselbe Dokument in beiden Sprachen ablegen und messen, ob die deutsche Frage beide Fassungen findet.

Ein Embedding trifft Kennungen wie Artikelnummern, Aktenzeichen oder Datumsangaben nicht zuverlässig, weil es Bedeutungsnähe abbildet und nicht Zeichengleichheit: Rechnung 4711 und Rechnung 4717 liegen für das Modell dicht beieinander, obwohl sie zwei verschiedene Belege bezeichnen. Aus demselben Grund trennt es eine Aussage und ihre Verneinung nur unscharf. Regel: Kennungen, Zahlen und Zeiträume über eine klassische Filtersuche abfragen, die Ähnlichkeitssuche nur auf den Fließtext ansetzen.

Ja – aber nur dieser Zeitpunkt wirkt. Ein Embedding enthält ausschließlich, was in der Eingabe stand; was vorher geschwärzt wurde, lässt sich hinterher nicht herausrechnen. Umgekehrt ist jede Bereinigung danach zu spät: Eine auf der EMNLP 2023 veröffentlichte Untersuchung gewann 92 Prozent kurzer Eingaben von 32 Token wörtlich aus dem Embedding zurück. Pseudonymisierung nach Artikel 4 Nummer 5 DSGVO gehört deshalb vor die Berechnung, nicht in die Datenbank danach.