web site istatistiklerini incelersen "google bot" veya "google robot" gibi bir isim görürsün. sen siteni google'a kayıt ettirdikten sonra google'ın akıllı web madeni programı sitene gelir ve her sayfanın bir kopyasını alıp gider. haliyle eğer sisteminde robot.txt adında bir dosya yoksa veya bu dosya düzgün yapılandırılmamışsa o zaman senin istemediğin sayfalar bile google'da görüntülenir. nasıl yaptığını bilmiyorum ama bazen forum sayfalarını bile sifreyle giriliyor olmasına rağmen alıyor :)
|