Crawl Budget

Crawl budget, Googlebot'un her site için sabit sayıda “günlük sayfa hakkı” bulunduğu anlamına gelmez. Google'ın Ağustos 2026'da güncellenen dokümantasyonu, tarama bütçesini iki ana unsurun birlikte belirlediğini açıklar: crawl capacity limit ve crawl demand.[1]

Tarama kapasitesi sınırı, Google'ın siteyi aşırı yüklemeden ne kadar paralel tarama yapabileceğiyle ilgilidir. Sunucu sağlığı, yanıt süreleri, 5xx hataları ve 429 gibi hız sınırlama yanıtları bu kapasiteyi etkileyebilir. Tarama talebi ise Google'ın belirli URL'leri ne kadar yeniden görmek istediğiyle; sitenin boyutu, güncelleme sıklığı, içerik değeri ve URL'lerin güncelliği gibi faktörlerle ilişkilidir.[1]

Crawl budget ile indeksleme de aynı şey değildir. Bir URL'nin Google tarafından taranması, mutlaka indeksleneceği anlamına gelmez. Google tarama sonrasında sayfayı ayrıca değerlendirir, canonicalization ve indeksleme süreçlerinden geçirir.[1]

Her sitenin crawl budget optimizasyonuna yoğun biçimde ihtiyaç duyduğu da doğru değildir. Google, bu rehberin özellikle milyonlarca sayfalık veya çok sık güncellenen büyük siteler ile çok sayıda URL'si “Discovered - currently not indexed” durumunda olan yapılar için ileri düzey kaynak olduğunu açıkça belirtir. Küçük ve orta ölçekli sitelerde sorun çoğu zaman “Google'ın bütçesi yetmiyor” değil, içerik kalitesi, internal linking, URL keşfi veya teknik erişilebilirlik gibi başka faktörler olabilir.[1]

Gereksiz parametre URL'leri, yinelenen içerikler, sonsuz URL alanları, uzun yönlendirme zincirleri ve soft 404'ler tarama kaynaklarının verimsiz kullanılmasına katkıda bulunabilir. Buna karşılık güncel sitemap, sağlam sunucu yanıtı ve temiz URL envanteri önemli sayfaların daha verimli keşfedilmesine yardımcı olur.[1]

noindex kullanmak da crawl budget tasarrufu için doğrudan çözüm değildir. Google'ın güncel rehberine göre bot, noindex direktifini görebilmek için URL'yi yine taramak zorundadır. Google'ın hiç taramasını istemediğiniz kaynaklarda robots.txt farklı bir işlev görür; ancak bunun da indekslemeyle aynı şey olmadığı unutulmamalıdır.[1]

Crawl budget, SEO çalışmalarında kolayca gereğinden fazla önem verilen kavramlardan biridir. MedyaBudur açısından önce sitenin ölçeği ve gerçek tarama problemi doğrulanmalıdır. Küçük bir sitede yüzlerce saat “crawl budget optimizasyonu” yapmak yerine yanlış canonical, kırık link, yinelenen URL, 404/soft 404 veya zayıf içerik gibi daha somut sorunları çözmek daha anlamlı olabilir.