Spider Botlar

[usekes]

forumumda gezinirken birden 17 aktif uye ve 518 misafir gordum. heralde yine birileri ddos saldirisi yapiyor diye dusundum forumu kapattim.

daha sonra arkadas online listten bakip bunlarin hepsi spider bot dedi. ben once inanmadim gidip baktim we gercekten de oyle forumun istatistiklerine baktim

http://www.xturkx.com/forum/statistik.php?do=spider

ve cıkan sonuc

inktomi 99.55 % (449)
msnbot 0.443 % (2)

anlamadigim olay su. nasil bir arama motoru bir siteye ayni anda 518 tane bot salar (arkadas su an uyardi 536 olmus spiderlar )

aslinda baya garibime gitti google o kadar ziyaretine karsin sadece ana sayfayi indexledi.inktominin botlari ise butun basliklari ve profilleri indexliyor (aktif kullanicilardan gozukuyor )

bu olay normalmi?

[usekes]

forum coktu

[PRicon]

yakında msj'da atmaya kalkar spaydır amcalar ...

O bişi degil , Neyi ne zaman listeliceklerini biliyorlar ....

Benim eski adult siteye geceleri giriyorlardı

[usekes]

usta ona lafim yok. walla saat kavramını bilmio bunlar.

awstats dan baktım aynı anda 1383 tane gelmis diyor ben anlayamadım bi turlu.inktomi yi yahoo aldi peki bu indexlenen sayfalar nerede goruntulencek?

aktif uyelerden baktım spaydırlar forumun altını ustune getirmis walla. 15 sayfa boyunca spaydır kaydı wardi.sunun profiline bakio. giris ekranını goruo.uyarı goruntuluo fln die. bi inktomi kadar olamadi google

[altar]

usekes´isimli üyeden Alıntı

forum coktu

oha nasıl yani saldırı yapan arama motoru örümceği

[usekes]

usta 1383 tane arama motoru bocugunu forum kaldırmadı.adamlar cidden orumcek gibi her yeri somurdu yani.bilmem kac sayfa spider report wardi

[W3BM4ST3R]

burda gördükten sonra biraz araştırma yaptım..
adamlar indexlemede yeni bir teknoloji kullanıyorlarmış..
crawler (örümcük) deli gibi indexliyormuş tüm neti..
durmadan..

hadi hayırlısı yeni bişiler oluyor ama

[ultraturknet]

Geçen ayki bant genişliği tüketimine baktığımda görümüştüm, Inktomi Slurp 50 küsür mb çekmiş. Diğer spiderların çok çok üstünde.

[usekes]

yeni fln anlamam sitemi gocertti bunun indexledigi sayfalari hangi arama motoru kullancaksa (yahoo almis gerci ya)
cidden googlebotdan daha cok bw tuketmis bu...

[graf von beelzebub]

esasta sandıgın gibi 1300 küsür orumcek degil ordaki aynı anda, gelen tek bir spider ama, arama motorunun sunucuları (farklı makinalar, dolayısıyla farklı ip) aralarında bir nevi gorev dagılımı yaptıgından loglardada oyle gozukuyor.
farzı misal: senin sitenin a.html, b.html sayfalarını 1. makine, c.html, d.html sayfalarını 2. makine indexliyor.. gibi.

ama sahidende arama motorları asırı miktarda bw yiyor.insanlar genelde hep yahoo ve google'dan sikayetci ama bana nedense hep msn'in botu musallat oluyor