Google Alt yapısı / arama siteleri?

[graf von beelzebub]

SaVaGe´isimli üyeden Alıntı

Bence yapılmaz diye bir şey yok. Uzman bi ekip ve bir kaç serverla aynı sistem yazabilir o kadar abartılı bir para miktarı gerektireceğini sanmıyorum.Fakat kullanıcılara siteyi sevdirmeli ve yaygın bi hale getirmelisiniz. Google ın domain listesinden taramaya baslayarak site indexlediğini düşünüyorum fakat bu listeyi ancak ICANN verebilir sanırım. Yani amerikayı keşfetmek yerine amerikayı görüp ayı keşfetmek daha iyi olur bence. Google cok eski bir site sadeliğinin yanı sıra bir çok sitenin google ı kullanarak arama yaptırması daha cok yaygın hale gelmesine sebep oluyor. Sizce aynı kalitede bir türk sitesi kurulsa siz gider google danmı arama yaparsınız yoksa türk sitesi oldugu için yerli siteyemi girersiniz?

Google belli bir dom list'e gore indexleme yapmaktan ziyade, eski bir site oldugu icin.zamanla hem manual ekleme sayafsından eklenen sayfaları hemde o sayfalardaki tüm dıs linklere giderek, o siteden diger sitelere... bu sekilde bir yol izleyerek indexleme yapıyor sanırım.ki bugune kadarda arsivini bu kadar buyutmus.
bırakın turkiye'yi diger amerika'dada google gibi bir sistem gelistirilemez bugunden sonra.yanı gereken o kadar cok sey varki.google ın 8 milyar index li sayfası var (2 servera sıgdıramayız sanırım ), o kadar titiz ve adam akıllı arsivlenmis ki bilgiler, ve ustune oyle bir algoritma oyle bir sistem yazılmıs ki en dogru sonucu 0.x sn'de gosterıyor.google diyince sadece web search akla gelmemelı adamlar 20 kusur yıllık gecmısı olan usenet'i indexlemisler.bunu cok kullanıslı bi arayuzle yenı fonksıyonlarla sunuyolar.sonra froogle'dan tutun gmail'e milyon tane hizmeti var.milyon tane webmaster / firma google baglı calısııyor sitelerinde google hizmetlerini kullanıyor.abartı bir reklam veren kitlesi var google ın.artık marka olmus insanların zihninde yer etmis.
tutupta boyle bir olusuma rakip olacak bir "şey" gelistirmek / uretmek ne kadar mantıklı sizce.
en basitinden windows'u üreten microsoft bunu basaramıyor.finansal bir sorunları yok, kapasite olarak bir sorunları yok ama basaramıyorlar.

bu vakitten sonra bu alanda yapılabilecek en buyuk şey, google api kullanarak (yine google arsivi ile yanı), genele degilde bellı bı kesıme yonelerek, o kesımın kullanacagaı spesifik fonksıyonlar ekleyerek, arayuzu o kesıme uyarlayarak bır servis uretilebilir.ornek olarak (ornek derken, uygulama olarak) a9.com mesela.yine google arsivi kullanılıyo ama ekstralar / farklılıklar var, tabiki boyle birsey yapmakta cok zor ama uygulama olarak google arsivi + ekstralar diyelim.

bana kalırsa google ın suankı populerlıgının sebebı "cıkıs zamanlaması" ve rekabet edecek rakibin pek olmaması.tabiki uygulamaya gecırenlerde zekiydi ve desktekcileri coktu (maddi olarakta, arakalarında koskoca uni. vardı).baktılar ne yapsa tutuluyo, gelistire gelistire su doneme geldıler.

[SaVaGe]

Google'a rakip olmayabilir. Ama şunu soruyorum google yokken yahoo vardı o zamanlarda yahoonun aynısının yapılamayacagını ileri süren kişiler muhakkak olmustur. Yahoo suan google a yakın bir websitesi üstelik arama dısında ekstra servisleride bulunuyor. Yani yapılamaz diyip vazgeçmeyin ben yapılıp yapılamayacagını değil yapılsa neler gerekli olacagını sordum. Zaten bu yüzden hep biz geride kalıyoruz biri yapıyor biz bakmakla yetiniyoruz. Bu böyle gelmiş böyle gidiyor. Microsoft google la ulasamadı ölemi?? güldürmeyin beni microsoft kaç milyon kişi fark atmıştır google a. Google ın arama sistemini kullanıyorsunuz Microsoftun Hotmailini,Messengerini İşletim sistemini...

[drstranger]

1-2 tane server yetmeyeceği kesin, :P bide su var.. arana kelimeler site sayısı 100 ken 1000 ken 10000 ken pek sorun cıkarmazda, indexli siteler 8 milyar tane olsa, bunu veritabanından nasıl cekeceksin??? veritabanından cekmekde mesele degil mesele hızlı bi sekilde nasıl bulduracaksın dogru eslesmeleri, ha google dan veri cektirebilirsin sanırsım ama o zamanda yeni bisey yaratmıs olmassın.. Ama türk piyasası icin keske imkanım olsa da bende boyle birsey gelistirsem, cok mukemmel olması sart degil

[baldor]

öncelikle çok iyi sunucuların olması gerekli. mesela 16 adet risk işlemcisine sahip sunucular. terabyte lık ramleri olmalı. bu şekilde sorgulama hızını maksimum seviyeye yükseltmiş olursun. fiziki ihtiyaçları karşıladıktan sonra yazılım kısmı. öyle bir mantık, öyle bir zeka kuracaksın ki, google ile yarışabilecek. tabi bu mantığın kurulması, istisnaların işlenmesi vs için zaman gerekli. bence yazılım geliştirmesi testleri ile birlikte en az 1 yıl sürer. tabi bunu profesyonel bir ekip yapıyorsa. sonra başlıcaksın bot yazılımı ile web madenciliğine. tüm sayfaları araştıracaksın, linkleri izliceksin vs. haliyle bu senin bağlantı hızın ile, bağlandığın sitenin hızına bağlı olarak hızlı veya yavaş olacak. insanlara doyurucu bilgi vermen için ve google ile yarışabilmen için en azından 1milyar sayfayı kaydetmen lazım. buda sanırım en azından 6 ayını alır. ardından siteyi açarsın ve reklama başlarsın. google elinin armut topladığını düşünürsek adam akıllı ziyaretçi kitlesine ulaşman en iyi ihtimalle 1 yıl sürer. eğer özelliklerin ve doyuruculuğun bu süre zarfında google u geçerse sen birinci olabilirsin.

özetle ihtiyacın olanlar ; oldukça iyi sistemler, oldukça iyi bir yazılım ekibi, yazılım geliştirme sürecinde yazılım ekibine yetecek kadar çok paran ve zaman.

[graf von beelzebub]

SaVaGe´isimli üyeden Alıntı

Google'a rakip olmayabilir. Ama şunu soruyorum google yokken yahoo vardı o zamanlarda yahoonun aynısının yapılamayacagını ileri süren kişiler muhakkak olmustur. Yahoo suan google a yakın bir websitesi üstelik arama dısında ekstra servisleride bulunuyor. Yani yapılamaz diyip vazgeçmeyin ben yapılıp yapılamayacagını değil yapılsa neler gerekli olacagını sordum. Zaten bu yüzden hep biz geride kalıyoruz biri yapıyor biz bakmakla yetiniyoruz. Bu böyle gelmiş böyle gidiyor. Microsoft google la ulasamadı ölemi?? güldürmeyin beni microsoft kaç milyon kişi fark atmıştır google a. Google ın arama sistemini kullanıyorsunuz Microsoftun Hotmailini,Messengerini İşletim sistemini...

ben arama olayından bahsedıyorum.mademki konuyu "arama motorları"ndan bahsederek acıyosun verılen cevapta yapılan kıyaslama tabiki bu bazda olacaktır.bizde biliyoruz microsoft'un daha buyuk oldugunu ama ben hayatımda daha msn search kullanmadım (birsey bulmak icin kullanmadım).konu burda microsoftun yaptıgı diyer seyler degil, bu kadar buyumus bı fırmanın mılyonlarca $ yatırım yaparak google'ı yakalayamamasıdır.

ayrıca ılk mesajında "aynı duzey birseyı bız yapamazmıyız" diyosun sorna bu mesajında "google'a rakip olamayabılır" diyosun.mesajların arasında celıskı var.

istedigin neler gerekecegı ise, kısaca: "turkiye'de elde edilmesı suankı kosullarda ımkansız olan sartlar" seklinde ozetlenebilir.bunların basında para geliyor

[ejder]

Arama motoru sistemini düşünürken aslında bildiklerimize göre bir kıyaslama yapıyoruz. Örneğin Php ve Mysql ile yaptığımız bir sitede 250.000 kaydın ve her kaydın 1-2KB'lık data olduğu bir arama motorunda normal bir serverda (Çift Xeon işlemci, 2GB Ram) aramalar google kadar hızlı olmamakta.

Öncelikle google bu sistemi yazarken neler kullanmış bunları irdelemek lazım. İlk başlarda ellerinde çok büyük özellikli bilgisayarlar olmadığı için arkadaşlarının kullanmadıkları bilgisayarları toparlayarak 50-100 bilgisayarlık özel bir ağ kurmuşlar. Daha sonra bu bilgisayarlardan tek bir bilgisayar gibi çalışmasını sağlayacak bir algoritma geliştirmişler. Tüm bunların dışında PageRank gibi özel bir algoritma geliştirmişler. Bu algoritmaya göre link verilen siteler daha iyi sitelerdir gibi mantıklar oluşturmuşlar. Daha sonra eşden dosttan 1milyon$ bulup Google Inc.'i kurmuşlar ve daha iyi sistemlerle geliştirmeye başlamışlar.

Bir uzay araştırması projesinde ismini tam hatırlamıyorum SETI olabilir, tüm dünyadan insanlar projeye katılabiliyorlar. Tek yapmaları gereken bir yazılım yükleyip bilgisayarlarını açık bırakmak. Böylece binlerce bilgisayar kullanılabiliyor. Buna benzer mantıkla çalışan birçok yazılım var, hatta trojanların bir kısmı bu şekilde kullanılıyor ve DDos ataklar bu sayede yapılıyor. Milyonlarca bilgisayar aynı anda tek bir bilgisayara veri göndererek sistemi altüst ediyorlar. Bu güç birleştirme olayı iyi veya kötü yönde kullanılabiliyor..

Bizim programlarımızda kullandığımız database'ler dışında birçok arama, sıralama algoritmaları mevcut. Bunlardann istediğimiz bir tanesini kullanarak basit arama motorları yazabiliriz. Daha iyileri için algoritmalar düşünüp gerekirse kendi arama algoritmalarımızı oluşturmamız gerekmekte. Şu anda kullanılmaya başlamamış olan ve geliştirilen algoritmalar var; Örneğin ünlü bir kişi olan Andrew S. Tanenbaum'un wireless network(kablosuz ağlar) la ilgili bir algoritması sayesinde bir sitenin değişen IP'ler üzerinde barındırabilmesi mümkün oluyor. Aynı kişi Tanenbaum, minix'in yazarı. Operating Systems (İşletim Sistemleri) dersinde anlatacak uygun bir UNIX bulamadığı için geliştirmiş, daha sonra minix'in geliştirilmesi ile linux oluşmuştur. Yine aynı kişinin birçok kitabı ve çalışması vardır. (Yani bir kişi de birçok işi başarabilir)

Gelişmiş sistemler tasarlamak için C ve Assembly ile hazırlamak mantıklıdır, çünkü bu diller makine diline yakındır ve bu nedenle hızlı çalışır. Örneğin ekrana merhaba dünya yazdıran bir Basic programı 30.000byte, C programı 1000byte, Assembly programı 40byte tutar. Tabiki bu sıralama ile de daha hızlı çalışır. Bunları çalıştıracağınız işletim sistemlerine göre kod yazmanızda işlemleri hızlandıracaktır, tabiki işletim sisteminin yazacağımız sisteme özel olarak geliştirmesi daha da hızlandıracaktır.

Biraz uzun oldu, konuyla alakasız gibi oldu belki yazı. Ama anlatmak istediğim bu tarz sistemler geliştirebilmek için çok çalışmak, çok konuda bilgi sahibi olmak gerekir. Türkiye'de gelişmiş sistemler yazabilecek insanlar olduğunu biliyorum. Fakat sadece yaşayabilmek için piyasaya alakasız işler yapması gerekir. Binlerce dolar kazanacağını bilse 6 ay oturur yazar lüksü yoktur bu kimselerin. Eğer gerekli destek sağlanır, birlik oluşturulabilirse büyük sistemler yapılabilir.

Konuyla ilgili aşağıda konuların araştırılması gerektiğine inanıyorum;
* Searching Algorithms (arama algoritmaları)
* Sorting Algorithms (Sıralama Algoritmaları)
* Parallel Programming (paralel programlama)
* Discrete Systems (ayrıştırılmış sistemler)
* Database Systems (veritabanı sistemleri)
* Operating Systems (işletim sistemleri)

Kusura bakmayın biraz uzun oldu (aslında kısa kısa yazmaya çalıştım), umarım faydası olur.

[e-net]

eline sağlık, güzel bir bilgilendirme yazısı olmuş

[yakese]

google un başarısının en buyuk sebeblerinden biri bence adamlar arama olayını kendilerine iş olarak edinmişler yoksa google da yahoo gibi portal olmayı bilmiyormu yada microsoft gibi yan programlar yazmayı bilmiyormu adamlar mail olayını bile zirveye tam olarak kurulduktan sonra yaptı.Gerçek hayattada böyle değilmi bir beyinin bir işle ilgilenmesi var birçok işle ilgilenmesi var .Başarının anahtarıda bu tek hedef

[gencmania]

hasan guzel yazmisin. eline saglik

[SaVaGe]

Ejderin yazısı Google ı abartanlara da sanırım iyi bir örnek olmustur. Türkiyede dediğin gibi yapabilecek insanlar para kazanmak amacıyla baska yönlerle ilgilenmek zorunda kalıyor. Bir çok programcımız 6 aydan daha fazla bir zaman bilgisayar basında.Para kaynagı bulup adam akıllı bir işe yöneltilseler neler olmaz ki.
Ejder aydınlatıcı bilgilerin için teşekkür ediyorum.