看了很多网站优化的文章,都很少提及如何检查网站的robots.txt,大多就说明一下robots.txt要设置好。对于高手来讲,这是小菜一碟,可以轻松判断robots.txt是否合理,但对于一些菜鸟来讲,根本无法判断自己网站的robots.txt是否合理,一个错误的robots.txt文件会使搜索引擎机器无法挖掘你的网站,其结果是你的新内容无法列举在搜索引擎的索引中。这对网站站长来说是一个巨大的损坏。如果你做错了什么并重新编辑 robots.txt文件的话,它需要两个星期才能看到效果。因此一个正确的robots.txt是很重要的。今天番禺网站建设给大家介绍两个检查网站robots.txt的方法,希望对大家有用。
一、 利用Google网站管理员工具检查
Google网站管理员工具可以在线验证robots文件,分析网站的 robots.txt 文件,方法是:登入Google 网站管理员工具后,在"控制台"中,点击所需网站后,点击工具,然后点击分析 robots.txt。
另外如果你不知道怎么写robots.txt,你可以通过Google 网站管理员工具提供的测试robots.txt文件并试用更改功能来设置一个正确的robots.txt文件,把你想要禁止的文件或目录通过 robots.txt格式制作好后,复制到google提供的robots区,然后你可以在robots.txt文件测网址区测试下你刚才写的 robots.txt文件是否正确。这样你就可以设置出一个正确的robots.txt了。
具体视图如下:
看了上面的图,相信你再菜也能写出一个正确的robots.txt了吧!呵呵
二、 利用国外的http://tool.motoricerca.info/robots-checker.phtml验证首先通过http://tool.motoricerca.info/robots-checker.phtml登入,在如下图的框中输入:你的域名/robots.txt,(例如:http://www.xxx.com/robots.txt)
(提醒:输入之前一定要把你robots.txt中的中文注释删除,否则无法这工具就不认为你所检查的是robots.txt,也就无法检查robots.txt是否合理了。)
点击Check robots.txt后,如果robots.txt没错的话,一般会出现下面的结果
如果出现其他结果的话,那肯定是有问题了,如果看不懂的话,可以用google翻译啊!