Dijital Görünürlük, Web & AI
X-Robots-Tag
- Diğer kullanım
- X-Robots-Tag HTTP header
Hızlı Tanım
X-Robots-Tag, index/noindex gibi crawler yönergelerini HTML dışındaki HTTP response header üzerinden iletmeye yarayan robots directive mekanizmasıdır.
Kavramın Açıklaması
PDF, görsel veya HTML olmayan dosyalara robots directive uygulamak için X-Robots-Tag kullanılabilir. HTML sayfalarda da header seviyesinde kullanılabilir.
noindex, nofollow ve desteklenen diğer direktifler response header içinde gönderilebilir. Crawler'ın bu yönergeyi görebilmesi için URL'yi tarayabilmesi gerekir.
robots.txt ile X-Robots-Tag farklıdır. robots.txt crawl erişimini, X-Robots-Tag ise indeksleme veya link takip davranışı gibi direktifleri yönetir.
Neden Önemli?
MedyaBudur'un pre-launch noindex kapısında header tabanlı kontrol kullanılıyorsa launch anında global X-Robots-Tag davranışı eksiksiz kaldırılmalıdır.