Sitemap Ve Robots Txt Ne İşe Yarar?

Robots.txt  botların sitenize geldiğinde ne yapacakları ya da ne yapmayacakları söyler.
Robots.txt sayesinde botlar sitenize crawl için geldiğinde sizin tarafınızdan belirlenen yerler crawl edilecektir.
Aynı zamanda sizin için belirlenen komutlar algılanacak ve böylelikle crawl işlemi başlayacaktır.
Robots.txt ile ilgili bir sorununuz olduğunda bu sorun aynı zamanda crawl işlemine de yansıyacaktır.
Sitenizin crawl edilmesi bu durumda söz konusu olmayacaktır.
Genellikle Robots.txt dosyaları oluşturulduktan sonra sitenizin alanının kök dizinine kayıt edilecektir.
Yanlış bir yere kaydetmeniz durumunda botlar tarafından bulunamayacaktır.
Smf için örnek olabilecek bir robots.txt

Kod Seç Genişlet

User-agent: *
Disallow: /*wap
Disallow: /*board=*wap
Disallow: /*topic=*wap
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*PHPSESSID
Disallow: /index.php?action=recent
Disallow: /index.php?action=search
Disallow: /index.php?action=help
Disallow: /index.php?action=admin
Disallow: /index.php?action=moderate
Disallow: /index.php?action=login
Disallow: /index.php?action=register
Disallow: /index.php?action=profile
Disallow: /index.php?action=pm
Disallow: /index.php?action=mlist
Disallow: /index.php?action=stats
Disallow: /index.php?action=who
Disallow: /index.php?action=groups
Disallow: /index.php?action=credits
Allow: /*board
Allow: /*topicSitemap ise Google botlarının siteye ait içeriği indekslemesi için geliştirilen bir araçtır.
Sitede yayınlanan içeriğe ait linklerin neler olduğu konusunda bilgi veren ve Google'un daha rahat bir şekilde siteyi indekslemesini sağlayan bir sistemdir.
Genellikle xml ya da php uzantılıdır.
Söz konusu dosya Google'ın webmaster araçları bölümünden rahatlıkla eklenebilir.

Selamun aleyküm... örnek robot dosyam .. tavsiyeleriniz varmıdır sitem için ?

Kod Seç Genişlet

User-agent: *
Disallow: /msg/
Disallow: /profile/
Disallow: /help/
Disallow: /search/
Disallow: /mlist/
Disallow: /sort/
Disallow: /recent/
Disallow: /unread/
Disallow: /login/
Disallow: /signup/
Disallow: /groups/
Disallow: /stats/
Disallow: /prev_next/
Disallow: /all/

Disallow: /*PHPSESSID

Allow: /$

Allow: /*.xml
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.gif$
Allow: /*sitemap

Sitemap: https://forumarkadasim.com/sitemap.xml

Teşekkürler..