Ana SayfaSEORobots.txt Dosyaları

Robots.txt Dosyaları

-

Robots.txt dosyaları hakkında bilgi vereceğimiz bu yazımızın sizlere yardımcı olacağını umuyoruz. Robots.txt dosyaları arama motoru botlarının sitenizi taramaya başladığında botların görmesini istemediğiniz yerleri veya sayfaları gösteren ve sitenin kök dizininde bulunan sabit dosyalardır.

Robots.txt dosyaları bir komut zincirine sahiptir ve Robotları Engelleme Standardı kullanırlar. Bu komutlardan yararlanarak web sitenizin bazı bölümlerine erişimi engelleyebilir veya web tarayıcılarının türüne göre web sitenizi gösterebilirsiniz. Örneğin: Web sitenizi mobilden ziyaret eden kullanıcılar ile masa üstü tarayıcılardan kullanan ziyaretçileriniz web sitenizin farklı versiyonlarını göstermek için kullanabilirsiniz.

Robots.txt dosyaları her web sitesinde muhakkak olmalıdır ve doğru yönergeler içermelidir. Doğru yönergeler içermeyen robots.txt dosyaları arama motoru botları tarafından yok sayılır ve web sitenizdeki tüm dizinleri tarayabilir.

Robots.txt Ne İçin Kullanılır?

Görsel Olmayan Dosyalar

Arama motoru botlarının sitenizi tararken sunucunuzu çok fazla meşgul etmesini istememniz gayet normal bir durum. Aynı zamanda sitenizdeki önemsiz veya birbirine çok benzeyen sayfaları da arama motoru botlarının tekrar tarayarak bu yoğunluğu arttırmasını istemezsiniz. Resim olmayan statik dosyaları arama motoru botlarının tarama yoğunluğunu dengelemek için kullanabilirsiniz. Robots.txt dosyalarını web sitenizin arama sonuçlarında gösterilmesini engellemek için kullanmamalısınız.

Görsel Dosyaları

Robots.txt dosyaları ile sayfanızdaki görsellerin arama motoru arama sonuçlarında çıkmasını engelleyebilirsiniz. Bu şekilde bir uygulama yapıp sitenizdeki görsellerin arama sonuçlarında çıkmasını engellediğinizde başka kullanıcıların veya web sitelerinin görsellerinize bağlantı vermesini engellemiş olmazsınız.

Kaynak Dosyaları

Önemli olmadığını düşündüğünüz komut dosyası, stil dosyaları veya görseller vb verileri arama motoru botlarının görmesini engellemek için de robots.txt dosyasını kullanabilirsiniz. Yapacağınız engellemelerin arama motoru botlarının sitenizi tanımlamasında bir kayıp olmayacağını düşünüyorsanız uygulayabilirsiniz.

Robots.txt Dosyalarını Hazırlarken Dikkat Edilmesi Gereken Noktalar

  • Robots.txt dosyası ile site URL yapısı aynı olmalıdır.
    Doğru: http://siteniz.com/robots.txt
    Yanlış: http://siteniz.com/anasayfa/robots.txt
  • Web sitenizin Robots.txt dosyası UTF-8 karakter kodlamasına uygun olmalıdır.
  • Robots.txt dosyası web sitenizin kök dizininde yer almalıdır.

Önümüzdeki günlerde Robots.txt dosyalarında kullanılabilen komutlar ve detayları ile ilgili bir yazı ile Robots.txt dosyaları konusunu pekiştireceğiz. En güncel bilgileri sizlerle paylaşmaya devam edeceğiz.

 

İsmail Emrah Demirayak
İsmail Emrah Demirayak
İmza İnternet Teknolojileri dijital pazarlama uzmanı İsmail Emrah Demirayak ben. SEO, SEM, sosyal medya ve dijital pazarlama konularında yazılar yazıyorum.

1 Yorum

CEVAP VER

Lütfen yorumunuzu giriniz!
Lütfen isminizi buraya giriniz

Bu site, istenmeyenleri azaltmak için Akismet kullanıyor. Yorum verilerinizin nasıl işlendiği hakkında daha fazla bilgi edinin.

Öne Çıkanlar

Domain Seçerken Dikkat Edilmesi Gerekenler

Domain Seçerken Dikkat Edilmesi Gerekenler

0
Domain sorgulama, internet üzerindeki dijital varlığınızı oluşturmak için atmanız gereken ilk adımdır. Peki, domain nedir? Basit bir ifadeyle, bir web sitesinin adıdır. İnternet kullanıcıları,...