Building & Running AI intermediate

Chunking

Splitting documents into passages small enough to embed and retrieve usefully.

Chunking ist der unscheinbarste und folgenreichste Schritt in einer RAG-Pipeline. Zu große Chunks verwässern das Embedding und verschwenden Kontext; zu kleine verlieren genau die Bedeutung, die sie relevant gemacht hat. An der Struktur zu schneiden — an Überschriften, an Abschnitten — schlägt das Schneiden nach Zeichenzahl.

In der Praxis: Einen Vertrag mitten in der Klausel zerteilen, sodass der Abruf einen halben Satz zurückgibt, der nichts bedeutet.