gelmez tabi.sen google a demişsin gelme gerek yok benim siteye.
robots.txt nin amacı
indexlenmemesini istediginiz klasöreler içindir.
mesela
cgi-bin
admin
images
klasörlerine google girmesin indexlemesin diye konulur robot.txt
User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
gibi
