蜘蛛程序的设计对网站优化的好处

很多SEO可能会忽略一个细节，那就是对于蜘蛛程序都会熟悉，但是很少的应用。因为蜘蛛程序的设计是为了不让蜘蛛访问某个网页，很少人知道他还可以规定蜘蛛访问的路径。本人就是在分析其他网站优化者的网站分析得出的。 我在查看网站代码的时候发现这样一段很容易被人忽视的代码： 当然要查看他的蜘蛛程序是怎么写的了，你可以输入www.xxxx.com/robots.txt 这样你就可以看到他的蜘蛛程序了：Sitemap: http://www.xxxx.com/sitemap.xmlUser-agent: *Disallow: 这样一段蜘蛛程序没有禁止蜘蛛访问的页面，而是规定了蜘蛛首先访问的页面，那就是网站地图。蜘蛛来访问网站的时候首页看到的是蜘蛛程序，根据蜘蛛程序爬行并抓取网页内容。蜘蛛根据程序跳转到txt文件，然后首先访问网站地图，这样就有利于收录网站地图内的网页了，增加网页的收录数量这个做网站优化的都会知道他的意义所在了。
如转载本文章请标明出处及作者文章出自SEOMVP.CN:joy