Robots.txt dosyasını bilen kişiler olmasına karşın, bilmeyen kişilerin varlığındaki fazlalık nedeniyle konuyu en baştan anlatacağım. Robots.txt dosyası sisteminizin arama robotları (böcekleri) tarafından nasıl taranması gerektiğini belirtmeye yarıyan bir dosyadır. Root dizininde (http://kudret.gokyigit.net/robots.txt) bulunur. Eğer farklı bir klasöre koyarsanız arama motorları bunu dikkate almayacaktır. Eğer sitenizi wordpress, blogspot ve benzeri sitelerden aldıysanız durum değişiyor. Çünkü bu siteler root dizinine erişmenize izin vermemektedir. Bu durumda siz de meta ayarlarından arama motorlarını yönlendirebiliyorsunuz. Eğer henüz bir robots.txt dosyası oluşturmadıysanız bir notepad açın ve yazıya öyle devam edin
Bu yazı her türlü sisteme sahip olanlar için. Bildiğiniz üzere blog sistemleri ve diğer bir çok CMS'de bir makale yazdığınızda anasayfada gözükür ve başlığına (veya "devamı" linkine) tıkladığınızda sizi o makalenin tüm metninin olduğu sayfaya aktarır. Ancak o sayfada da yazdığınız makalenin başlığında yine o makalenin linki bulunur. Bu linkler (Permalink) arama motorları açısından (özellikle google) sorun oluşturmaktır. Geçen bir sitede görmüştüm. Google mail yollamış ve sitesinin efektif olarak taranamadığını ve sorunun sayfanın içinde bulunan ve aynı sayfaya yönlenen uzun link isimlerinden kaynaklandığını söylemiş. Örnek: http://kudret.gokyigit.net /adsense/wordpress-icin- ilk-yazidan-sonra-adsense/ sayfasında yine aynı linkin bulunması gibi.
Aslında mantıklı düşünüldüğünde bir linkin görevi kullanıcıyı başka bir sayfaya aktarmaktır. Arama motorlarının böcekleri her zaman sizin sitenize ana sayfadan gelmeyebilir (ki düzenli taramalar dışında nadirdir). Böcekler, bir başka sitenin sizin sitenizdeki bir makaleye verdiği linkden sitenize gelebilir. Böyle bir durumda ana sayfa alt sayfa kurgusunu aynı linki tekrar takip edeceğinden kuramayabilir. Yazının devamında Wordpress için bu durumu nasıl aşabileceğimizi anlatacağım.