Dijital Görünürlük, Web & AI
Crawl Trap
- Diğer kullanım
- Tarama tuzağı
- Diğer kullanım
- Crawl trap
Hızlı Tanım
Crawl trap, crawler'ların çok sayıda gereksiz veya sonsuza yakın URL varyasyonunu takip etmesine yol açarak tarama kaynaklarını tüketen teknik URL yapısıdır.
Kavramın Açıklaması
Takvimler, sonsuz filtre kombinasyonları, session ID'ler, bozuk parametre üretimi veya dinamik URL yapıları crawl trap oluşturabilir. Crawler aynı düşük değerli alan içinde sürekli yeni URL keşfedebilir.
Sorun yalnız crawl budget değildir. Sunucu yükü, log gürültüsü, duplicate URL üretimi ve indeks kalitesi de olumsuz etkilenebilir.
Crawl Trap ile Faceted Navigation aynı değildir. Faceted navigation doğru tasarlanırsa kullanıcı için yararlı olabilir; ancak kontrolsüz URL kombinasyonları crawl trap'e dönüşebilir.
Neden Önemli?
MedyaBudur'da filtrelerin yeni URL üretmemesi ve kategori/tag archive'larının launch'ta kapalı tutulması crawl trap riskini azaltır. Teknik QA'da log dosyası ve crawler davranışıyla doğrulanmalıdır.