robots.txt

korsan_cd · #1 (**permalink**) 2004-12-03, 17:27

bu robots.txt ne işe yarıyor.bilen bi anlatabilirmi acaba

**iyinet** · #2 (**permalink**) 2004-12-03, 18:52

Alıntı:

korsan_cd´isimli üyeden Alıntı

bu robots.txt ne işe yarıyor.bilen bi anlatabilirmi acaba

Forumda aradim sonuclardan biri, tum sonuclar icin arama secenegini kullanabilirsin.
http://forum.iyinet.com/showthread.p...ght=robots.txt

hotweb · #3 (**permalink**) 2004-12-03, 23:00

benim bildigm arama motorlari google filan robots dosyasini ariyor once robots dosyasini koyarak arama motorlarinin siteni crawl etmesini engeleye bilirsin, istedigin aramama mototrunun mesela google, archive.org filan, yada sadece bazi bolumlerini arama motorlarina crawl edilmesine izin vermeyebilirsin.

bu dosya yoksa arama motorlari siteni crawl ediyor otomatik olarak.

Seçenekler
Yazdırılabilir şekli göster Sayfayı E-Mail olarak gönder
Stil
Normal Hybrid-Şeklinde gösterime geç Ağaç şeklinde gösterime geç

Benzer Konular
Konu	Konuyu Başlatan	Forum	Cevaplar	Son Mesaj
Robots.Txt Nedir ? Ne Değildir ?	omerinfocus	Google Optimizasyon ve Sandbox	1	2006-06-14 22:06
Robots.txt dosyası?	hedefturan	Google Arama	2	2006-05-25 20:44
bu robots.txt dosyası doğrumu	yozgatlı	Webmaster Genel Konular	4	2005-09-08 20:42
Robots.text Hakkinda ..	Bedavalar-Net	Link Değişim	35	2005-07-01 21:55
robots.txt	Kalyoncu	Webmaster Genel Konular	9	2005-05-17 21:11

Konuyu Toplam 1 Üye okuyor. (0 Kayıtlı üye ve 1 Misafir)