Gönderen Konu: Robot.txt Yapılandırması  (Okunma sayısı 1586 defa)

danua

  • Yönetici
  • Kıdemli Üye
  • *****
  • İleti: 312
  • Karma 65535
Robot.txt Yapılandırması
« : 28 Eylül 2016, 19:49:52 »
Robot txt. : Arama motorları tarafından sitenize ait olan içeriklerin (bot,örümcek veya web böceği ) adı verilen vasıtalarla denetlenmesini kısıtlamak veya bir kısmına izin  vermek amacı ile oluşturulan dosyadır.
Bu dosya oluşturulmadığında veya tüm dizinlerde böceklerin dosyaları index'lemesine izin verildiğinde  domain'e ait sizin web de yayınlanmasını istemediğiniz veya site için risk oluşturabilecek dosyaların da web de yayınlandığını göreceksiniz.

Sadece Domain'e kurulması yeterli olmayabilir;Eğer mevcut domain'e ait alt domain de varsa ,orada kurulu bulunan dosyalar içinde bir "robot.txt"oluşturulması gerekir.

Nasıl Kullanılır?

Kod: [Seç]
User-agent: *
Disallow:
Bu şekkilde bir robot dosyasını hazırladığınızı farz edersek "*" işaretiyle sitenizin tamamının index lenmesine izin vermişsiniz anlamına gelir.Bu uygulama sakıncalı olabilir!!!

Kod: [Seç]
User-agent: *
Disallow: /
Eğer böcekler siteyi indexlemesin diyorsanız,bu seçenek hiç bir bot index'ine izin vermemek için kullanılır.

Kod: [Seç]
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/

Şimdi burada 4 dosyada kısıtlama yaptığınızı belirler.

Kod: [Seç]
User-agent: MsnBot #
Disallow: /private/

Burada MsnBot'un private dosyasını index lemesini istemiyorsunuz ve ona buraya girme diyorsunuz.

Kod: [Seç]
User-agent: *
Disallow: /directory/file.html

Burada ise "*" işareti tümüne izin anlamına geliyordu,"/directory/file.html" bu dosya hariç diğerlerinin tamamına izin var demek.


Linkback: Robot.txt Yapılandırması
𐱅𐰇𐰼𐰚

Sitelerim
:::::::::::::::::::
www.telkaricim.com
www.takip.in
www.jewelka.com

Tags: