Robots.txt Tarafından Engellenen Sayfalar Nasıl Sıralanıyor?

Google’ın kilit isimlerinden John Mueller Google Webmaster Central Hangout’ta bir katılımcının sorusu üzerine robots.txt tarafından indekslenen sayfalar hakkında açıklamalar yaptı. Peki robots.txt tarafından engellenen sayfalar nasıl sıralanıyor? Robots.txt Nedir? Google, Robots.txt Tarafından Engellenen Sayfalar Nasıl Sıralanıyor? Sorusunu Cevapladı Google’dan John Mueller bir kaç gün önce Google Webmaster Central Hangout’ta robots.txt tarafından engellenen sayfalar için arama…

Devamını Oku

Google: Robots.txt Tarafından Engellenen Sayfalara Link Verilmişse Dizine Eklenecek

Google’dan John Mueller, periyodik olarak yaptığı Web Yöneticisi Merkezi Hangout (Webmaster Central hangout) yayınlarından birinde yine pek çok kişi tarafından merak edilen bir konu hakkında açıklamalarda bulundu. Özetlemek gerekirse robots.txt tarafından engellenen sayfalara link verilmişse dizine eklenecek, peki bu durum karşısında ne yapmalıyız? Robots.txt Nedir? Google’ın Taramasını İstemediğiniz Sayfalar İçin Ne Yapmalısınız? Sitemizde Google’ın taramasını istemediğimiz sayfalar…

Devamını Oku

Robots.txt Dosyalarında Kullanılabilen Komutlar ve Detayları

Geçtiğimiz günlerde “Robots.txt Dosyaları” başlıklı yazımızda Robots.txt dosyasının hangi işlevleri yerine getirdiğini, hangi durumlarda kullanılabileceğini ve Robots.txt dosyalarını hazırlarken dikkat edilmesi gerekenleri sizlerle paylaşmıştık. Bugün paylaşacağımız Robots.txt dosyalarında kullanılabilen komutlar ve detayları başlıklı yazımız ile önceki yazıyı tamamlayıcı nitelikte sizlere sunacağız. Başlangıçta “Robots.txt Dosyaları” yazımızın sonunda maddeler halinde bahsettiğimiz Robots.txt dosyalarını hazırlarken dikkat edilmesi gereken…

Devamını Oku

Robots.txt Dosyaları

Robots.txt dosyaları hakkında bilgi vereceğimiz bu yazımızın sizlere yardımcı olacağını umuyoruz. Robots.txt dosyaları arama motoru botlarının sitenizi taramaya başladığında botların görmesini istemediğiniz yerleri veya sayfaları gösteren ve sitenin kök dizininde bulunan sabit dosyalardır. Robots.txt dosyaları bir komut zincirine sahiptir ve Robotları Engelleme Standardı kullanırlar. Bu komutlardan yararlanarak web sitenizin bazı bölümlerine erişimi engelleyebilir veya web tarayıcılarının…

Devamını Oku