Dijital Görünürlük, Web & AI
Crawl Trap
- Diğer kullanımlar
- Tarama tuzağı · Crawl trap
Hızlı Tanım
Crawl trap, crawler'ların çok sayıda gereksiz veya sonsuza yakın URL varyasyonunu takip etmesine yol açarak tarama kaynaklarını tüketen teknik URL yapısıdır.
Kavramın Açıklaması
Takvimler, sonsuz filtre kombinasyonları, session ID'ler, bozuk parametre üretimi veya dinamik URL yapıları crawl trap oluşturabilir. Crawler aynı düşük değerli alan içinde sürekli yeni URL keşfedebilir.
Sorun yalnız crawl budget değildir. Sunucu yükü, log gürültüsü, duplicate URL üretimi ve indeks kalitesi de olumsuz etkilenebilir.
Crawl Trap ile Faceted Navigation aynı değildir. Faceted navigation doğru tasarlanırsa kullanıcı için yararlı olabilir; ancak kontrolsüz URL kombinasyonları crawl trap'e dönüşebilir.
Neden Önemli?
Teknik QA'da log dosyası ve crawler davranışıyla doğrulanmalıdır. Faceted navigation doğru tasarlanırsa kullanıcı için yararlı olabilir; ancak kontrolsüz URL kombinasyonları crawl trap'e dönüşebilir.