WordPress te , robots.txt nasıl olmalı

[Mywedding]

merhaba,

benim wordpressi karıştırırken, root dizininde "robots.txt" gördüm, bir bakayım dedim, aşağıdaki gibi,

yanlız , archive, tag, category, trackback bölümlerinide yasaklamış bu..

bu ne kadar doğru yada doğrusu nedir..teşekkürler şimdiden.

Disallow: /wp-content/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /feed/
Disallow: /archives/
Disallow: /sitemap.xml
Disallow: /index.php
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: */feed/
Disallow: */trackback/
Disallow: /page/
Disallow: /tag/
Disallow: /category/

[beceriksiz_acemi]

eğer sitenizde yasaklıyacağınız bir şey yoksa, bence robots.txt yi kullanmayın derim, bence çok gereksiz.Sanırım bu örnek verdiğiniz site, spamı engellmek için bunu yapmış.Her eklenen wp yazısında çok tag varsa, spam değerlendirilmesin diye tagı yasaklamış olabilir.