Google’ın kilit isimlerinden John Mueller Google Webmaster Central Hangout’ta bir katılımcının sorusu üzerine robots.txt tarafından indekslenen sayfalar hakkında açıklamalar yaptı. Peki robots.txt tarafından engellenen sayfalar nasıl sıralanıyor?
Google, Robots.txt Tarafından Engellenen Sayfalar Nasıl Sıralanıyor? Sorusunu Cevapladı
Google’dan John Mueller bir kaç gün önce Google Webmaster Central Hangout’ta robots.txt tarafından engellenen sayfalar için arama sorgularının alaka düzeyinin nasıl belirlendiğini açıkladı.
Google’ın hala robots.txt tarafından engellenen sayfaları indekslemeye devam edeceğini belirtti peki Google, bu sayfaları sıralayacağını nasıl belirliyor?
Google, Robots.txt’yi resmi standart haline getirmek istiyor
Google Webmaster Central Hangout’unda bir katılımcının sorduğu soru:
“Bugünlerde herkes kullanıcı niyetinden bahsediyor. Bir sayfa robots.txt tarafından engelleniyorsa ve sıralanıyorsa, Google, engellenmiş sayfa içeriğiyle ilgili sorgu alaka düzeyini nasıl belirler? ”
John Mueller, Google’ın engellenmişse içeriğe bakamadığını açıkça söylüyor. Öyleyse Google’ın yaptığı, URL’yi diğer URL’lerle karşılaştırmanın başka yollarını bulması gerekiyor; karşılaştırma yapmak sayfalar robots.txt tarafından engellendiğinde kuşkusuz daha zor.
Sitenizdeki İçeriğe Erişimi Nasıl Engellersiniz?
Çoğu durumda, Google, daha erişilebilir ve taraması engellenmeyen bir sitenin diğer sayfalarının indekslenmesine öncelik verir. Bazı durumlarda, Google o sayfaları değerli görürse robots.txt tarafından engellenmesine rağmen sayfalar arama sonuçlarında sıralanır. Bu, sayfaya işaret eden bağlantılar tarafından belirlenir.
Robots.txt Dosyalarında Kullanılabilen Komutlar ve Detayları
Peki, Google engellenen sayfaların nasıl sıralanacağını nasıl bulur? Cevap net; o sayfaya verilen linklerden gelen sinyaller ile belirliyor. Sonuçta, içeriği robots.txt ile engellemenin ve Google’ın ne yapacağını bildiğini ummamız akıllıca olmaz.
Ancak, robots.txt tarafından engellenen bir içeriğiniz varsa, Google nasıl sıralanacağını bulmak için elinden gelenin en iyisini yapar.
Aşağıdaki cevabın tamamını 21:49 ‘dan başlayarak izleyebilirsiniz:
