Sitenizdeki İçeriğe Erişimi Nasıl Engellersiniz?

Sitenizde yer alan bazı kısımları ve/veya içeriğin bir kısmını erişime kapatmak isteyebilirsiniz. Peki Sitenizdeki İçeriğe Erişimi Nasıl Engellersiniz? Sitedeki İçeriğe Erişimi Engelleme Sebebiniz Olabilir Sitenizde yer alan içeriğe erişim engeli getirmek için birçok sebebiniz olabilir. Ancak genelde erişim engelleme işlemi, botların erişmesinin ve o dizinin, arama motoru tarafından indekslenmemesinin istenmemesi üzerine gerçekleştirilir. Örneğin bir sitenin…

Devamını Oku

Google: Robots.txt Tarafından Engellenen Sayfalara Link Verilmişse Dizine Eklenecek

Google’dan John Mueller, periyodik olarak yaptığı Web Yöneticisi Merkezi Hangout (Webmaster Central hangout) yayınlarından birinde yine pek çok kişi tarafından merak edilen bir konu hakkında açıklamalarda bulundu. Özetlemek gerekirse robots.txt tarafından engellenen sayfalara link verilmişse dizine eklenecek, peki bu durum karşısında ne yapmalıyız? Robots.txt Nedir? Google’ın Taramasını İstemediğiniz Sayfalar İçin Ne Yapmalısınız? Sitemizde Google’ın taramasını istemediğimiz sayfalar…

Devamını Oku

Robots.txt Nedir?

Robots.txt Nedir?, öncelikle arama motoru yazılımlarına web sitenizin her hangi bölümlerini dizine ekleyeceğini ve hangi dizini taraması gerektiğini, hangi arama motoru yazılımlarının giriş izni olup ve olmadığını söylemeye yarayan oldukça basit bir komut dosyasıdır. Örümcek olarak da isimlendirilen Arama motoru yazılımları web sitenize geldiğinde ilk olarak yaptığı iş bu dosyayı tarar ve daha sonra dosyadaki…

Devamını Oku

Robots.txt Dosyalarında Kullanılabilen Komutlar ve Detayları

Geçtiğimiz günlerde “Robots.txt Dosyaları” başlıklı yazımızda Robots.txt dosyasının hangi işlevleri yerine getirdiğini, hangi durumlarda kullanılabileceğini ve Robots.txt dosyalarını hazırlarken dikkat edilmesi gerekenleri sizlerle paylaşmıştık. Bugün paylaşacağımız Robots.txt dosyalarında kullanılabilen komutlar ve detayları başlıklı yazımız ile önceki yazıyı tamamlayıcı nitelikte sizlere sunacağız. Başlangıçta “Robots.txt Dosyaları” yazımızın sonunda maddeler halinde bahsettiğimiz Robots.txt dosyalarını hazırlarken dikkat edilmesi gereken…

Devamını Oku

Robots.txt Dosyaları

Robots.txt dosyaları hakkında bilgi vereceğimiz bu yazımızın sizlere yardımcı olacağını umuyoruz. Robots.txt dosyaları arama motoru botlarının sitenizi taramaya başladığında botların görmesini istemediğiniz yerleri veya sayfaları gösteren ve sitenin kök dizininde bulunan sabit dosyalardır. Robots.txt dosyaları bir komut zincirine sahiptir ve Robotları Engelleme Standardı kullanırlar. Bu komutlardan yararlanarak web sitenizin bazı bölümlerine erişimi engelleyebilir veya web tarayıcılarının…

Devamını Oku