Chunking

Chunk'lar sabit token uzunluğu, paragraf, başlık, bölüm veya semantik sınırlar üzerinden oluşturulabilir.

Çok küçük chunk bağlamı kaybedebilir; çok büyük chunk ise retrieval precision'ı düşürebilir ve context window'u gereksiz tüketebilir.

Chunk overlap bazı sınır bilgilerini korumaya yardımcı olabilir; ancak fazla overlap indeks boyutu ve duplicate retrieval yaratabilir.

Uzun belgeler retrieval için parçalara ayrılırken chunk boyutu doğrudan bulunabilirlik ve bağlam kalitesini etkiler. Çok küçük parçalar anlamı koparabilir; çok büyük parçalar ise düşük ilgili içeriğin modele taşınmasına ve bağlam penceresinin gereksiz tüketilmesine yol açabilir.