robot.txt

[pigeon]

arkadaşlar robot.txt asp/html nasıl yapılmalıdır? nereye atılmalıdır?
açıklarsanız sevinirim..
bir de bu googleın sitenize geldiğini ve gezdiğini nereden anlıyorsunuz?
ben bir türlü bulamadım.

[feverinlove]

ana directory ye atican ayrica robots.txt olacak bos bi dosya yolasan yeterli

[muratozcirpici]

# Robots.txt file from http://www.domain.com
#
# All robots will spider the domain

User-agent: *
Disallow:

domain.com yazan yere domain adını yazarsın botların gezmesini istemediğin özel sayfaları eklersin disallow a.

botların gezip gezmediğini "awstats" panelinden görebilirsin veya kurduğun bir istatistik scripti varsa ordan görebilirsin örnek : metatraffic

ayrıca arkadaşında dediği gibi robot.txt değil robots.txt. asp html php cgi js jsp vs hiç bir şey ile alaksı yok sadece txt dosyası...