Google mobil uyumluluk testi robots.txt dosyasını tarıyor mu?

Google mobil uyumluluk testi robots.txt dosyasını tarayıp indekslemeye yardımcı oluyor mu? Robots.txt yönergelerinin taranıp dizine eklenmesi için nasıl bir yol izlemeliyiz? Robots.txt Tarafından Engellenen Sayfalar Nasıl Sıralanıyor? Google Mobil Uyumluluk Testi Robots.txt Dosyalarını Taranmasına Yardımcı Olmuyor Yaptığı yayınlar ile önemli bilgiler paylaşan Google’ın önemli isimlerinden John Mueller son zamanlarda Google’ın mobil uyumluluk testinin robots.txt dosyalarında…

Devamını Oku

Robots.txt Tarafından Engellenen Sayfalar Nasıl Sıralanıyor?

Google’ın kilit isimlerinden John Mueller Google Webmaster Central Hangout’ta bir katılımcının sorusu üzerine robots.txt tarafından indekslenen sayfalar hakkında açıklamalar yaptı. Peki robots.txt tarafından engellenen sayfalar nasıl sıralanıyor? Robots.txt Nedir? Google, Robots.txt Tarafından Engellenen Sayfalar Nasıl Sıralanıyor? Sorusunu Cevapladı Google’dan John Mueller bir kaç gün önce Google Webmaster Central Hangout’ta robots.txt tarafından engellenen sayfalar için arama…

Devamını Oku

Google, Robots.txt’yi resmi standart haline getirmek istiyor

Google geçtiğimiz günlerde Google indekleriyle ilgili açıklamaları paylaştığı resmi blogu Google Webmaster Central Blog’da robots.txt noindex yönergesi kullanımı ile ilgili değişiklikleri paylaşmıştı. Takip eden blog yazısında Google, Robost.txt’yi resmi standart haline getirme niyetini paylaştı. Google, Artık Robots.txt Dosyasında noindex Kullanımını Desteklemeyecek Google, Robost.txt’yi resmi standart haline getirme niyetinde Robots Exclusion Protocol’de (REP) belirtilen ve bu…

Devamını Oku

Google, Artık Robots.txt Dosyasında noindex Kullanımını Desteklemeyecek

Dünyanın en çok kullanılan arama motoru Google, artık robots.txt dosyasında noindex kullanımını desteklemeyecek. Google robots.txt dosyasında yer alan ve sayfaların arama motorları tarafından indekslenmesini engelleyen noindex yönergesini desteklemeyi durduruyor. Öncelikle robots.txt ve noindex hakkında fikir sahibi olmayanlar daha önce hazırlamış olduğumuz “Robots.txt Nedir?” ve “Noindex Nedir?” başlıklı yazılarımıza göz atabilirler. Google resmi web yöneticisi blogunda…

Devamını Oku

Sitenizdeki İçeriğe Erişimi Nasıl Engellersiniz?

Sitenizde yer alan bazı kısımları ve/veya içeriğin bir kısmını erişime kapatmak isteyebilirsiniz. Peki Sitenizdeki İçeriğe Erişimi Nasıl Engellersiniz? Sitedeki İçeriğe Erişimi Engelleme Sebebiniz Olabilir Sitenizde yer alan içeriğe erişim engeli getirmek için birçok sebebiniz olabilir. Ancak genelde erişim engelleme işlemi, botların erişmesinin ve o dizinin, arama motoru tarafından indekslenmemesinin istenmemesi üzerine gerçekleştirilir. Örneğin bir sitenin…

Devamını Oku

Google: Robots.txt Tarafından Engellenen Sayfalara Link Verilmişse Dizine Eklenecek

Google’dan John Mueller, periyodik olarak yaptığı Web Yöneticisi Merkezi Hangout (Webmaster Central hangout) yayınlarından birinde yine pek çok kişi tarafından merak edilen bir konu hakkında açıklamalarda bulundu. Özetlemek gerekirse robots.txt tarafından engellenen sayfalara link verilmişse dizine eklenecek, peki bu durum karşısında ne yapmalıyız? Robots.txt Nedir? Google’ın Taramasını İstemediğiniz Sayfalar İçin Ne Yapmalısınız? Sitemizde Google’ın taramasını istemediğimiz sayfalar…

Devamını Oku

Robots.txt Nedir?

Robots.txt Nedir?, öncelikle arama motoru yazılımlarına web sitenizin her hangi bölümlerini dizine ekleyeceğini ve hangi dizini taraması gerektiğini, hangi arama motoru yazılımlarının giriş izni olup ve olmadığını söylemeye yarayan oldukça basit bir komut dosyasıdır. Örümcek olarak da isimlendirilen Arama motoru yazılımları web sitenize geldiğinde ilk olarak yaptığı iş bu dosyayı tarar ve daha sonra dosyadaki…

Devamını Oku

Robots.txt Dosyalarında Kullanılabilen Komutlar ve Detayları

Geçtiğimiz günlerde “Robots.txt Dosyaları” başlıklı yazımızda Robots.txt dosyasının hangi işlevleri yerine getirdiğini, hangi durumlarda kullanılabileceğini ve Robots.txt dosyalarını hazırlarken dikkat edilmesi gerekenleri sizlerle paylaşmıştık. Bugün paylaşacağımız Robots.txt dosyalarında kullanılabilen komutlar ve detayları başlıklı yazımız ile önceki yazıyı tamamlayıcı nitelikte sizlere sunacağız. Başlangıçta “Robots.txt Dosyaları” yazımızın sonunda maddeler halinde bahsettiğimiz Robots.txt dosyalarını hazırlarken dikkat edilmesi gereken…

Devamını Oku

Robots.txt Dosyaları

Robots.txt dosyaları hakkında bilgi vereceğimiz bu yazımızın sizlere yardımcı olacağını umuyoruz. Robots.txt dosyaları arama motoru botlarının sitenizi taramaya başladığında botların görmesini istemediğiniz yerleri veya sayfaları gösteren ve sitenin kök dizininde bulunan sabit dosyalardır. Robots.txt dosyaları bir komut zincirine sahiptir ve Robotları Engelleme Standardı kullanırlar. Bu komutlardan yararlanarak web sitenizin bazı bölümlerine erişimi engelleyebilir veya web tarayıcılarının…

Devamını Oku