Kontextfenster
Das Kontextfenster ist die Menge an Text, die ein Sprachmodell gleichzeitig berücksichtigen kann — Frage, mitgelieferte Dokumente und die eigene Antwort zusammengenommen. Was nicht hineinpasst, existiert für das Modell nicht.
Warum die Größe allein nicht entscheidet
Moderne Modelle fassen Hunderttausende Wörter. Trotzdem sinkt die Zuverlässigkeit, je voller das Fenster wird: Angaben in der Mitte langer Texte werden schlechter berücksichtigt als solche am Anfang oder Ende.
Deshalb ist es meist besser, gezielt die drei passenden Abschnitte zu liefern als das ganze Handbuch. Genau das leistet eine Dokumentensuche mit Embeddings — sie ersetzt Menge durch Auswahl.
Was passiert, wenn der Platz nicht reicht
Der Anfang fällt weg. Bei langen Gesprächen verliert das Modell die früheren Vorgaben — die Anweisung aus Nachricht drei ist in Nachricht dreißig oft nicht mehr wirksam. Das erklärt den größten Teil der Fälle, in denen ein Assistent „plötzlich anders antwortet".
Praktische Folge für den Betrieb: Wichtige Regeln gehören in jede Anfrage, nicht einmal an den Anfang. Das kostet ein paar Zeichen und verhindert das Wegdriften.
Warum ein größeres Fenster nicht die Lösung ist
Weil die Aufmerksamkeit in der Mitte nachlässt. Modelle finden Angaben am Anfang und am Ende zuverlässiger als in der Mitte eines langen Textes — ein Effekt, der mit der Länge zunimmt. Ein sehr großes Fenster vollzuschreiben verschlechtert die Antwortqualität.
Deshalb ist gezieltes Nachschlagen dem Hineinkippen überlegen: fünf passende Absätze schlagen dreihundert Seiten Rohtext, auch wenn beides hineinpasst.
Was das kostet
Abgerechnet wird nach verarbeiteter Textmenge. Wer bei jeder Anfrage ein vollständiges Handbuch mitschickt, zahlt das bei jeder Anfrage — auch wenn nur ein Satz daraus gebraucht wird.
Bei einem Assistenten mit vielen täglichen Anfragen ist das der größte einzelne Kostenfaktor und zugleich der am leichtesten zu senkende.
Häufige Fragen zu Kontextfenster
Wie viele Wortteile verbraucht deutscher Text im Kontextfenster?
Woran merkt eine Anwendung, dass das Kontextfenster voll ist?
Was belegt das Kontextfenster, bevor der Nutzer das erste Wort schreibt?
Verbraucht ein mitgeschicktes Bild Platz im Kontextfenster?
Was kostet ein KI-Chatbot? Eine Einordnung der Marktpreise
Die Spannen am Markt reichen von wenigen tausend bis über hunderttausend Euro – für Angebote, die alle „KI-Chatbot" heißen. Was den Unterschied tatsächlich ausmacht und woran Sie erkennen, welche Zahl zu Ihrem Vorhaben passt.
RAG statt Halluzination: Wie Unternehmens-Chatbots verlässlich werden
Ein Sprachmodell erfindet überzeugend klingende Antworten, wenn es die Antwort nicht kennt. Warum Retrieval-Augmented Generation dieses Problem entschärft — und wo auch RAG an seine Grenzen stößt.
Passende Leistungen
RAG-Systeme & Wissensdatenbanken
Machen Sie Ihr Firmenwissen durchsuchbar. Dokumente, Handbücher und FAQs werden zur intelligenten, zitierfähigen Wissensbasis.
Mehr dazuKI-Beratung & Strategie
Strategische Beratung für den KI-Einsatz: Use-Case-Analyse, Tool-Auswahl und Implementierungsplanung — AI-Act-konform.
Mehr dazuKI-Chatbot Entwicklung
Intelligente Chatbots, trainiert auf Ihren Unternehmensdaten. 24/7 Support, weniger Ticketlast, mehr Conversions.
Mehr dazu