User-agent:Botismi1
Disallow: /
User-agent:Botismi2
Disallow: /
User-agent:Botismi3
Disallow: /
User-agent:Botismi4
Disallow: /
User-agent: *
Disallow:
Bu kodları robots.txt dosyasına ekliyeceksin.
Bu botismi1,botismi2 vs.. kısmına google botu hariç diğer arama motorlarının botlarının isimlerini yazmalısın.(Lycos,Yahoo,Live,Altavista gibi)
Bu botların isimlerine ve arama motorlarının iplerine bu adresten ulaşabilirsin
http://www.iplists.com/
Bu konuda bilgim bukadar umarım yardımcı olabilirim.