Arama motoru örümcekleri yani bir diğer adıyla Crawler, Google gibi arama motorlarının, web üzerinde neler olup bittiğini takip edebilmesi için geliştirilmiş bir tür yazılımdır. İnternet dünyası çok geniş bir kitleyi kapsar. Her gün, her saat, her saniye neler olduğunu takip etmek çok zordur. Bu durumda örümcekler (crawler) devreye girer.
Bilgilerinizi kaydeden örümcekler, her girdiğiniz sayfadaki köprülerinizi (hyperlink) takip eder. Bir örümceğin, ördüğü ağa yakalanan böcekleri kendi ağını takip ederek bulması gibi, Arama motoru örümcekleri de köprülerinizi takip ederek sizi bulur.
Örümcekler sitenizde gezinmeye başladığında, bütün içerikleriniz bir veri tabanına yüklenir. Siteniz veri tabanına yüklendikten sonra, arama motorları sitenizi indekslemeye başlar. Daha sonrasında örümcekler sayfalarınızı bulup, bütün kelimeleri analiz edip, sitenizdeki linkleri kendi içerisinde güçlendirmeye başlar.
Örümcekler, sayfanızı ziyaret etmeye geldiğinde ilk kontrol ettikleri şey “robots.txt” dosyasıdır.
Robots.txt Dosyası Ne işe Yarar?
Robots.txt dosyası, örümceklere neleri indeksleyip, neleri indekslememesi gerektiğini söyleyen bir dosyadır.
Eğer örümcek robots.txt dosyasını bulamaz ise sayfayı dikkate almayacaktır. Bu sebepten dolayı aramam motorları tarafından fark edilmeyeceksiniz. Bu sorunun önüne geçmenin en kolay yolu bir robots.txt dosyasına sahip olmaktır. Örümcekler sayfalarınızı köprüleri veya arama sayfalarını takip ederek bulacaktır.
Arama motorlarının, sitenizi indekslemesi için bir talep formu olabilir. Bu da çoğu durumda iyi bir yöntemdir. Bunların yanında, sitenizi ekleme talebinde bulunduğunuz bir arama motorunun, sitenizi diğer yüzlerce arama motorlarına vermemesi çok önemlidir. Bu yöntem hiç bir işe yaramaz. Son olarak, sahip olduğunuz link sayısı, arama motorlarında yükselmenize yardımcı olacaktır.
harika yazı olmuş taha hocam eline sağlık..