Googlebot

[mavidusler]

Olmasa da olur. Robot.txt sadece botun girmesini istemediğin sayfaları belirtmek için kullanılan bir şey.
Örnek:
http://www.google.com/robots.txt
disallowlar girilmesi istenmeyen klasörler. Değişik sitelerdekileri de böyle inceleyebilirsin

[Metalirik]

Teşekkürler

[SoruForum.Com]

oda bişeymi ya googlebot her zaman sitede ama sadece 8 sayfa cıkıyor???

[Alobar]

bendede öyle yaw gezdigi sayfa 37652, indexli sayfa ise 120 küsür. bide 650 megabyte bw mi yiyo. bida siteme google botu motu almıycam gezsede gezmesede bi halta yaramıyo ne olsa...

[symbiantech]

arkadaşlar aynı sorun bende de vardı ama hepsini toptan indexledi belki sitemap'in etkisi vardır ben öyle yapmıştım ama genelde 2 yada 3 ayda indexliyor linkleriniz ? işaretli ise biraz daha geç oluyor ama indexliyor sabredin bence bende sinirden patlıyordum bir günde 13200 sayfa indexlendi

[Gifted.ib]

Arkadaşlar sayfa indexlerken sayfanın başka bir yerden alınıp alınmadığınıda kontrol ettiğini unutmayın.Eğer hazır script kullanıyorsanız.Sizi hiç eklemeyebilir.Benim sitem sıfırdan yazılmıştı.1 Hafta içinde şuan tüm sayfalarım indexlendi google tarafından.

[pigeon]

çok yazılır ama içeriğin ya da sitenin daha önceden başka yerde kullanılmasının bir zararını ben görmedim de duymadım da.

sitemap denerseniz faydalı olacaktır..

[bedafocb]

KraListe´isimli üyeden Alıntı

Arkadaşlar sayfa indexlerken sayfanın başka bir yerden alınıp alınmadığınıda kontrol ettiğini unutmayın.Eğer hazır script kullanıyorsanız.Sizi hiç eklemeyebilir.Benim sitem sıfırdan yazılmıştı.1 Hafta içinde şuan tüm sayfalarım indexlendi google tarafından.

o zaman nuke BB bulletin kuranlar vazgeçsin o zaman