Sitemap Ve Robots Txt Ne İşe Yarar?

Başlatan snrj, 11 Nis 2016 19:04

« önceki - sonraki »

0 Üye ve 1 Ziyaretçi konuyu incelemekte.

snrj

Robots.txt  botların sitenize geldiğinde ne yapacakları ya da ne yapmayacakları söyler.
Robots.txt sayesinde botlar sitenize crawl için geldiğinde sizin tarafınızdan belirlenen yerler crawl edilecektir.
Aynı zamanda sizin için belirlenen komutlar algılanacak ve böylelikle crawl işlemi başlayacaktır.
Robots.txt ile ilgili bir sorununuz olduğunda bu sorun aynı zamanda crawl işlemine de yansıyacaktır.
Sitenizin crawl edilmesi bu durumda söz konusu olmayacaktır.
Genellikle Robots.txt dosyaları oluşturulduktan sonra sitenizin alanının kök dizinine kayıt edilecektir.
Yanlış bir yere kaydetmeniz durumunda botlar tarafından bulunamayacaktır.
Smf için örnek olabilecek bir robots.txt
Kod [Seç]
User-agent: *
Disallow: /*wap
Disallow: /*board=*wap
Disallow: /*topic=*wap
Disallow: /*topic=*.msg
Disallow: /*topic=*.new
Disallow: /*PHPSESSID
Disallow: /index.php?action=recent
Disallow: /index.php?action=search
Disallow: /index.php?action=help
Disallow: /index.php?action=admin
Disallow: /index.php?action=moderate
Disallow: /index.php?action=login
Disallow: /index.php?action=register
Disallow: /index.php?action=profile
Disallow: /index.php?action=pm
Disallow: /index.php?action=mlist
Disallow: /index.php?action=stats
Disallow: /index.php?action=who
Disallow: /index.php?action=groups
Disallow: /index.php?action=credits
Allow: /*board
Allow: /*topic
Sitemap ise Google botlarının siteye ait içeriği indekslemesi için geliştirilen bir araçtır.
Sitede yayınlanan içeriğe ait linklerin neler olduğu konusunda bilgi veren ve Google'un daha rahat bir şekilde siteyi indekslemesini sağlayan bir sistemdir.
Genellikle xml ya da php uzantılıdır.
Söz konusu dosya Google'ın webmaster araçları bölümünden rahatlıkla eklenebilir.