Robot txt. : Arama motorları tarafından sitenize ait olan içeriklerin (bot,örümcek veya web böceği ) adı verilen vasıtalarla denetlenmesini kısıtlamak veya bir kısmına izin vermek amacı ile oluşturulan dosyadır.
Bu dosya oluşturulmadığında veya tüm dizinlerde böceklerin dosyaları index'lemesine izin verildiğinde domain'e ait sizin web de yayınlanmasını istemediğiniz veya site için risk oluşturabilecek dosyaların da web de yayınlandığını göreceksiniz.
Sadece Domain'e kurulması yeterli olmayabilir;Eğer mevcut domain'e ait alt domain de varsa ,orada kurulu bulunan dosyalar içinde bir "
robot.txt"oluşturulması gerekir.
Nasıl Kullanılır?User-agent: *
Disallow:Bu şekkilde bir robot dosyasını hazırladığınızı farz edersek "
*" işaretiyle sitenizin tamamının
index lenmesine izin vermişsiniz anlamına gelir.Bu uygulama sakıncalı olabilir
!!!User-agent: *
Disallow: /Eğer böcekler siteyi
indexlemesin diyorsanız,bu seçenek hiç bir bot index'ine izin vermemek için kullanılır.
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/Şimdi burada
4 dosyada kısıtlama yaptığınızı belirler.
User-agent: MsnBot #
Disallow: /private/Burada
MsnBot'un
private dosyasını
index lemesini istemiyorsunuz ve ona buraya girme diyorsunuz.
User-agent: *
Disallow: /directory/file.htmlBurada ise "
*" işareti tümüne izin anlamına geliyordu,"
/directory/file.html" bu dosya hariç diğerlerinin tamamına izin var demek.
Linkback:
Robot.txt Yapılandırması
