Was bedeutet Chunk Overlap?
Die schnelle Definition
Chunk Overlap ist der Inhaltsanteil, der beim Aufteilen eines Dokuments am Ende eines Chunks und am Anfang des folgenden Chunks wiederholt wird. Die Überlappung soll Kontext über eine künstliche Segmentgrenze hinweg erhalten, damit zusammengehörige Aussagen für Embeddings und Retrieval nicht vollständig getrennt werden.
Warum ist Chunk Overlap wichtig?
Die richtige Überlappung verbessert die Kontinuität dort, wo feste Grenzen unvermeidbar sind. Strukturorientiertes Chunking an Überschriften, Absätzen oder Satzgrenzen kann den notwendigen Overlap reduzieren. Entscheidend ist ein repräsentatives Testkorpus mit echten Fragen, erwarteten Belegpassagen sowie Kennzahlen für Retrieval-Treffer, Redundanz, Antworttreue, Latenz und Kosten.
So wird Chunk Overlap in der Praxis eingesetzt
- Einheit festlegen: Zeichen oder Tokens, verwendeten Tokenizer, maximale Chunk-Größe und Metadaten eindeutig dokumentieren.
- Struktur erhalten: Überschriften, Listen, Tabellen und Satzgrenzen bevorzugt zusammenhalten und Dokumenttitel oder Abschnittspfad als Metadaten mitgeben.
- Overlap als Startwert testen: Einen moderaten Anteil wählen, dann mehrere Kombinationen aus Größe und Überlappung gegen dieselben realen Testfragen vergleichen.
- Gesamtsystem messen: Recall beziehungsweise Trefferquote, Rang der Belegpassage, Dubletten im Kontext, Antwortkorrektheit, Tokenverbrauch und Laufzeit gemeinsam bewerten.
Praxisbeispiel
Ein Handbuch wird zunächst in 512-Token-Chunks mit 128 Tokens Überlappung zerlegt. Das Testset zeigt doppelte Treffer bei kurzen FAQ-Abschnitten. Für diese Abschnitte wechselt das Team auf strukturorientierte Grenzen und weniger Overlap, während längere narrative Kapitel den ursprünglichen Wert behalten.
Häufige Fehler
- Chunk-Größe und Overlap werden aus einem Blogbeispiel übernommen, ohne Dokumenttyp, Sprache, Tokenizer und reale Suchfragen zu testen.
- Eine große Überlappung erzeugt fast identische Chunks, die mehrere Plätze im Retrieval belegen und den Antwortkontext mit Wiederholungen füllen.
- Abschnittstitel, Tabellenkopf oder Quellenhinweis bleiben außerhalb des Chunks, sodass die gefundene Passage fachlich oder zitatorisch nicht mehr eindeutig ist.
Bedeutung für Google, Bing und KI-Suchsysteme
Chunk Overlap ist kein direkter Rankingfaktor für Google oder Bing. Er beeinflusst jedoch interne RAG-, Wissens- und KI-Suchsysteme, die Inhalte in Segmente zerlegen. Auf einer öffentlichen Website helfen klare Überschriften, eigenständige Absätze und nahe Quellenangaben sowohl Lesern als auch nachgelagerten Extraktions- und Retrieval-Prozessen.
Verwandte Begriffe
Zusammenfassung: Chunk Overlap wiederholt einen begrenzten Inhaltsbereich in benachbarten Segmenten, um Kontext an Grenzen zu erhalten. Der optimale Wert hängt von Struktur, Sprache, Tokenizer und Retrieval-Aufgabe ab und muss gegen Redundanz, Trefferqualität, Kosten und Antworttreue getestet werden.
