Ana SayfaSEOGoogle: Robots.txt Tarafından Engellenen Sayfalara Link Verilmişse Dizine Eklenecek

Google: Robots.txt Tarafından Engellenen Sayfalara Link Verilmişse Dizine Eklenecek

-

Google’dan John Mueller, periyodik olarak yaptığı Web Yöneticisi Merkezi Hangout (Webmaster Central hangout) yayınlarından birinde yine pek çok kişi tarafından merak edilen bir konu hakkında açıklamalarda bulundu. Özetlemek gerekirse robots.txt tarafından engellenen sayfalara link verilmişse dizine eklenecek, peki bu durum karşısında ne yapmalıyız?

Robots.txt Nedir?

Google’ın Taramasını İstemediğiniz Sayfalar İçin Ne Yapmalısınız?

Sitemizde Google’ın taramasını istemediğimiz sayfalar için kullandığımız yöntemlerden biri olan web robots.txt dosyasına eklediğimiz komutlarla taranması engellenen sayfalar varsa ve bu engellenen sayfalara verilmiş linkler bulunuyorsa Google bu sayfaları tarayıp dizine alınabiliyor. Bu şekilde robots.txt dosyasından engellenen sayfalar sorun teşkil edebilir çünkü Google, bu sayfaların taranmasını engellenmesi nedeniyle sayfalarda içerik yokmuş gibi görür.

John Mueller, yaptığı canlı yayında bu konu hakkında şöyle bir açıklamada bulundu. John Mueller’in açıklamasında sitenizde Google’ın görmesini istemediğiniz herhangi bir içerik olması halinde yapılacak en doğru işlemin noindex meta etiketi kullanmak olduğunu belirtiyor.

Bu konunun başlangıcı Web Yöneticisi Merkezi canlı yayını sırasında bir site sahibinin “indekslenmesi gerekmeyen sayfalara robots.txt’de “disallow” kullanmasının gerekip gerekmediğini sormasıyl ortaya çıktı.

Google İçerikleri Taramadan Kopya Olduğunu Anlayabiliyor

Konuyla İlgili John Muller’in Açıklaması

Mueller’in canlı yayındaki soruya verdiği yanıt:

“Burada akılda tutulması gereken bir şey, eğer bu sayfalar robots.txt tarafından engellendiyse, teorik olarak birinin bu sayfalardan birine rastgele ulaşabileceği olmalıdır. Eğer biri bunu yaparlarsa, o zaman bu URL’yi herhangi bir içerik olmadan indeksleyebildiğimiz için robots.txt tarafından engellenip engellenmediğini bilemeyiz. Dolayısıyla, bu sayfaların aslında dizine eklenmesini isteyip  istemediğinizi bilmeyiz.

Robots.txt’de engellemek yerine bu sayfalara bir noindex meta etiketi yerleştirebilirsiniz. Eğer bu sayfalarla bağlantı kuracak olursak, biz bu bağlantıyı tararız ve “belki de burada yararlı bir şey var” diye düşünürüz. Bu sayfaların indekslenmesine gerek olmadığını ve sayfaları indekslemeden atlayabileceğimizi bilebiliriz.

Bu nedenle, bu sayfalarda dizine eklenmek istemedikleriniz varsa onları robots.txt’den engellemek yerine noindex kullanın. ”

Google: Yapılandırılmış Veriler Her Sayfada Özgün Olmalıdır

Tam soru ve tam cevap, aşağıdaki videoda 24:36 işaretinden başlayarak görülebilir, isterseniz canlı yayındaki diğer konuları da izleyebilirsiniz.

İsmail Emrah Demirayak
İsmail Emrah Demirayak
İmza İnternet Teknolojileri dijital pazarlama uzmanı İsmail Emrah Demirayak ben. SEO, SEM, sosyal medya ve dijital pazarlama konularında yazılar yazıyorum.

CEVAP VER

Lütfen yorumunuzu giriniz!
Lütfen isminizi buraya giriniz

Bu site, istenmeyenleri azaltmak için Akismet kullanıyor. Yorum verilerinizin nasıl işlendiği hakkında daha fazla bilgi edinin.

Öne Çıkanlar

Bing AI Nedir, ChatGPT Nasıl Çalışır?

Bing AI Nedir, ChatGPT Nasıl Çalışır?

0
Yapay zekanın günlük hayatımıza etkisi her geçen gün artarken, Microsoft firması, GPT dil modelini içeren Bing Chatbot hizmetini, kullanıma sundu. Bu sayede Bing ChatGPT,...