Binlerce, hatta milyonlarca sayfası olan sitelerde arama motorlarının her sayfayı düzenli olarak taraması mümkün olmayabilir. Burada devreye “crawl budget”, yani tarama bütçesi girer.
Yazı İçeriği
Crawl Budget Nedir?
Crawl budget, Googlebot gibi arama motoru botlarının belirli bir zaman diliminde sitenizde taradığı sayfa sayısıdır. Google’a göre bu bütçe iki unsurdan oluşur. Birincisi tarama kapasitesi sınırıdır: Sunucunuz yorulmadan botun ne kadar istek gönderebileceğini belirler. İkincisi tarama talebidir: Sayfalarınızın ne kadar popüler olduğuna ve ne sıklıkla güncellendiğine bağlıdır.
Kimleri İlgilendirir?
Birkaç yüz sayfalık siteler için crawl budget genellikle sorun değildir. Asıl risk e-ticaret siteleri, haber portalları ve ilan siteleri gibi çok sayıda URL üreten büyük sitelerdedir. Bu sitelerde önemli sayfalar geç taranabilir veya hiç dizine eklenmeyebilir.
Bütçeyi Tüketen Sorunlar
Filtre ve sıralama parametreleriyle oluşan sonsuz URL kombinasyonları, kopya içerikler, yönlendirme zincirleri, 404 hataları ve düşük kaliteli sayfalar bütçenin boşa harcanmasına yol açar.
Optimizasyon Yöntemleri
- robots.txt ile gereksiz alanları engelleyin: Filtre parametreleri, sepet ve iç arama sayfaları gibi alanları taramaya kapatın.
- Canonical etiketi kullanın: Kopya sayfalarda asıl sürümü belirtin.
- XML site haritasını güncel tutun: Yalnızca dizine eklenmesini istediğiniz, 200 kodu dönen URL’leri ekleyin.
- Yönlendirme zincirlerini kısaltın: Bağlantıları doğrudan son URL’ye yönlendirin.
- Site hızını artırın: Hızlı yanıt veren bir sunucu daha fazla sayfanın taranmasını sağlar.
- İç linklemeyi güçlendirin: Önemli sayfalara ana sayfadan ve kategori sayfalarından kolay erişim sağlayın.
Sonuç
Crawl budget optimizasyonu, arama motorlarının sınırlı zamanını en değerli sayfalarınıza yönlendirmekle ilgilidir. Google Search Console’daki “Tarama İstatistikleri” raporunu düzenli takip ederek sorunları erken fark edebilirsiniz.
