Google Indexlemesinde Onemli Ip Uclari (Makale)

[iyinet]

Öncelikle makale için teşekkürler.
Ben de hesabıma girip baktım ve forum.iyinet.com için 43613 adet Unreachable URLs (erişilemeyen url) olduğunu gördüm.
Bu 43613 adet URL i tüm siteyi Google dan silme seçeneğini kullanmadan nasıl sildirtebilirim?

[beceriksiz_acemi]

43613 adet Unreachable URLs (erişilemeyen url) 404 hatası veriyormu ? Yoksa 200 hatasımı veriyor. Bence en mantıklısı ya 404 hatası vermek yada 410 ( gitti ) hatası vermektir.Bu sayede o dosyaların olmadığını ve tekrar olmayacağını rahatlıkla bildirirsiniz, süreci hızlandırırsınız.


Bilmeyenler için dip not ;

410 (Gitti)

İstenen kaynak kalıcı olarak kaldırıldığında sunucu bu yanıtı döndürür. Bu kod, 404 (Bulunamadı) koduna benzer, ancak bazen eskiden var olduğu halde artık olmayan kaynaklar için 404 yerine kullanılabilir. Kaynak kalıcı olarak taşındıysa kaynağın yeni konumunu belirtmek için bir 301 kullanmanız gerekir.

[beceriksiz_acemi]

Permission´isimli üyeden Alıntı

URL Kaldırma olayı cok farklı şeyler istiyor ne denedim ise 4 defa hepsinde red aldım istediği şeyleri yaptıgım halde ben bir çelişki gördüm.

1-İçeriğin artık web’de yayınlanmadığından emin olun. Kaldırmak istediğiniz sayfa veya resim isteklerinin bir HTTP 404 (bulunamadı) veya 410 durum kodu döndürmesi gerekir.
2-Bir meta noindex etiketi kullanarak içeriği engelleyin.
3-Bir robots.txt dosyası kullanarak içeriği engelleyin.

1-( sitenizin ve sayfalarının sitede olamdıgına emin olun diyor amaki 2. sıkta ise sayflarınıza noindex etiketi kullanın diyor olmayan sayfaya nasıl noindex yapılır. )

yukarıdaki şartların hepsini istiyor ilk baktıgımızda bunalrdan birini yeterli gibi ama hayır.

Sunucunuz 404 bulunamadı veriyormu? Bazı sunucularda bunu değiştiriyorlar o yüzden sorun yaratıyor.Ben sürekli olarak bunu kullanarak kaldırabiliyorum.Sadece 1. şıkkı yerine getiriyorum, hostumda robots.txt yüklü değil.

[iyinet]

beceriksiz_acemi´isimli üyeden Alıntı

43613 adet Unreachable URLs (erişilemeyen url) 404 hatası veriyormu ? Yoksa 200 hatasımı veriyor. Bence en mantıklısı ya 404 hatası vermek yada 410 ( gitti ) hatası vermektir.Bu sayede o dosyaların olmadığını ve tekrar olmayacağını rahatlıkla bildirirsiniz, süreci hızlandırırsınız.


Bilmeyenler için dip not ;

410 (Gitti)

İstenen kaynak kalıcı olarak kaldırıldığında sunucu bu yanıtı döndürür. Bu kod, 404 (Bulunamadı) koduna benzer, ancak bazen eskiden var olduğu halde artık olmayan kaynaklar için 404 yerine kullanılabilir. Kaynak kalıcı olarak taşındıysa kaynağın yeni konumunu belirtmek için bir 301 kullanmanız gerekir.

Şimdi tekrar baktım hepsi 500 (Internal server error) hatası vermiş.
Sayfalardan birkaçına tıkladım da bu sayfalara erişim var şimdi, acaba google taraken mi sorun çıkıyor.

[beceriksiz_acemi]

iyinet´isimli üyeden Alıntı

Şimdi tekrar baktım hepsi 500 (Internal server error) hatası vermiş.
Sayfalardan birkaçına tıkladım da bu sayfalara erişim var şimdi, acaba google taraken mi sorun çıkıyor.

Evet google farklı 2 yöntemle taramaya çalışıyor, Ip bazlı ve domain bazlı. 404 yada 500 hatası alırsa, hemen silmiyor.Hostingin kapalı olacağını, o anda orada, o sayfada bir hata olabileceğini düşünüyor ve tekrar tekrar deniyor.Belirli sayısı kaçtır bilinmez ama örnek olarak, 1 ay deniyor yine yoksa, silinmiş olabilir diye düşünüp sonra dizinden kaldırıyor.

Bu sebeple google diyorki, ya robots.txt den, ya url ekleyerek kaldırın yada 410 ( gitti ) hatası verdirtin.O zaman hemen kaldırırız.

Yinede siz sayfaları kontrol edin dilerseniz.Robots.txt de erişimin engelleyecek bir şeyler olmuşta olabilir.Yada sitemaple ilgili bir sorun oluşabilir.

[MéDicLiFé]

İyinet, iyinet haliyle biraz büyük bir site=)
Ve index olayı çok önemli olan bir site.
O yüzden tum URL'leri kaldır olayını yapmanı tavsiye etmem asla.
Bu işlem için;
Tek tek URL'ler: web sayfaları, resimler veya başka dosyalar Güncel olmayan veya engellenmiş web sayfalarını, resimleri ve diğer belgeleri, Google arama sonuçlarında görünmemeleri için kaldırın.

Bölümünü seçmen gerekiyor.

Seçtikten sonra ulaşılamayan tüm sayfaları tespit et analiz bölümünden sonrasında bir liste olarak kayıt et.
Sonrasında boş vaktin oldukçada;

Tek tek URL'ler: web sayfaları, resimler veya başka dosyalar Güncel olmayan veya engellenmiş web sayfalarını, resimleri ve diğer belgeleri, Google arama sonuçlarında görünmemeleri için kaldırın.

Bölümüne giriş yaparak;

URL’leri kaldır [?]
www.iyinet.com
Kaldırılacak web sayfası URL'lerini belirtin

İsteğin başarılı olması için, gönderilen tüm URL'lerin kaldırmaya uygun olması gerekir. Daha fazla bilgi edinin.
Arama sonuçlarında göründüğü şekilde URL:
http://www.iyinet.com/

Kısmına gelerek adresten sonra açılmayan URL'lerin uzantılarını yaz ve 100 tane yazdığındada;

Geçersiz bağlantı nerede görünüyor?
Google Web Araması sonuçları.
Google Resim Araması sonuçları.

Kısmında bu URL'lerin yerlerini belirterek (Sanırım çoğunluk web arama sonucudur zaten.)

100 tanelik kotanı tamamladığın gibi hemen kaldırılma işlemi için geri bildirimde bulun.
10 dakika içinde siliyorlar. (Sitenin büyüklüğüne göre değişim gösterebilir.)

Bu işlemi birkaç kez tekrarladığında boş vakitlerinde hiç hata sayfası gözükmeyecek ve arama sıralarında daha kaliteli sonuçlar verecektir site.

Almanlar bunları tek tek yapıyorlar inanın Almancası olan arkadaşlar webmaster forumlarını kontrol ederek baksın görecektir.

Ama adamlara Google'da hakkını veriyor. Bugün en basit Alman sitesinin PR si 6 ya çıkmış...

[iyinet]

Diğer enteresan nokta da "Googlebot activity in the last 90 days" bölümünde çıkan grafikler.
"Number of pages crawled per day" grafiği bu şekilde, sizce sorun ne olabilir.

[MéDicLiFé]

Google'la aranız bozulmuş bu aralar.
Terk edebilir yakın zamanda.

Araçlardan site tarama hızı sekmesinden hızlı seçeneğini işaretlemeni önerebilirim.
Servera zorlayacağını belirtmiş ama Google'ın börtü böceklerinin o kadarda zorlayacağını düşünmüyorum ben.

Bilimum sürüngenlerini siteye yolluyor ve her dakika indexleme çalışmalarına başlıyorlar.
Her konuda bir böjek hesabı=)


Edit:
Ve şimdi baktım iyinet istatistiklerine.
7.042 den 7.071 desin Alexa'da.
Üyelik sistem değişikliği işe yaramamış.

Ben fazla anlamam bu işlerden ama şu yorumu yapabilirim okuduklarımdan.
Google bizden özgün şeyler bekliyor.
Bize ait cümleler ve iyinetin backlinkleri ile yayılacak konular bekliyor.

[beceriksiz_acemi]

iyinet´isimli üyeden Alıntı

Diğer enteresan nokta da "Googlebot activity in the last 90 days" bölümünde çıkan grafikler.
"Number of pages crawled per day" grafiği bu şekilde, sizce sorun ne olabilir.

Güncelleme zamanlarında büyük siteler çok fazla indexlenmezler.Çünkü yorarlar, yavaşlatırlar.Bence hiç ellemeyin o düzelecektir.

Diğer bir olasılıkta, yeni açılan konuların az olması nedeniyle yeni sayfa katılımı azlığından olabilir ki bunuda sanmam.Giriş çıkışlarımızla foruma, botun gelmesini sağlıyoruz.

Birde, misafir girişi yaptığımızda, açılan her başlığı görebiliyormuyuz ? Geyik, link değişimi v.s. gibi.. Bunu botun görmesi çok önemli çünkü.

[MéDicLiFé]

Evet beceriksiz_acemi haklı.
Örneğin forumda vbulletinden kaldırılan herşey yada misafirlerin yada özel üyelerin göremediği herşey no follow olarak geçmekte robot.txt de ve bunları botlar ve börtü böjeklerde görememekte.
Hatta hangi linklerin no follow olduğunu görmek için robot.txt yi değerlendirme menüsü var webmaster toolsda. Ordan göz atmanda fayda var.

Forumda en çok aktif olunan bölüm link değişimi bölümü. Sonrasında güncel ve geyik.
Link değişiminde zaten hiçbirşey yok ve no follow bir bölüm.
Geyikte öyle.
Güncel bölümü zaten kopya içerik dolu sağda soldan toplanmış tamamı...

Yani haliyle botlar girip oturup bir kahve içmeden çıkıyorlar.
Bence sorumluluk sahibi olmalı userlar.