STAKE中国官方网站看法

Robots.txt文件的作用及写法

宣布时间：2008-11-16

搜索引擎优化的事情者关于Robots.txt文件，，，，，，，，应该说并不生疏。。。。。。。。由于在有些情形下，，，，，，，，我们并不想让网站的所有文件都让搜索引擎收录。。。。。。。。

搜索引擎优化的事情者关于Robots.txt文件，，，，，，，，应该说并不生疏。。。。。。。。由于在有些情形下，，，，，，，，我们并不想让网站的所有文件都让搜索引擎收录。。。。。。。。好比说一些网站后台管理目录、会员隐私信息、没有价值的网页等，，，，，，，，我们都不妄想让搜索引擎的蜘蛛爬取。。。。。。。。在这种情形下，，，，，，，，我们就有须要会用到Robots.txt文件，，，，，，，，来与搜索引擎相同。。。。。。。。

详细的方法是通过在网站根目录建设名为:Robots.txt的文件,你就可以阻止蜘蛛来索引网站的某些内容，，，，，，，，如动态的搜索结构页面(好比说,STAKE中国官方网站榨取搜索引擎收录STAKE中国官方网站搜索结构页面。。。。。。。。http://www.seo.com.cn/robots.txt)、404页面、图片目录、上岸页面等。。。。。。。。

所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件，，，，，，，，因此，，，，，，，，你需要做的只是建设它并上传，，，，，，，，然后期待蜘蛛来阅读。。。。。。。。Robots.txt文件没有以任何方法来�；；；；；；；；つ愕哪谌荩�，，，，，，，只是阻止搜索引擎索引。。。。。。。。

下面，，，，，，，，STAKE中国官方网站主要说明下Robots.txt文件的写法。。。。。。。。

1.若是你站点中的所有文件，，，，，，，，都可以让蜘蛛爬取、收录的话，，，，，，，，那么语法这样写:

User-agent: *
Disallow:

其时，，，，，，，，若是你网站中所有的文件都可以让搜索引擎索引的话，，，，，，，，你也可以不管这个文件。。。。。。。。

2.完全榨取搜索引擎来访的Robots.txt文件写法:

User-agent: *
Disallow: /

2.1.要榨取掉某个搜索引擎来访的Robots.txt文件写法:

User-agent: Googlebot
Disallow: /

3.网站中某个文件夹不希望让搜索引擎收录的Robots.txt文件写法:

User-agent: *
Disallow: /admin/
Disallow: /images/

4.榨取Google抓取网站中的图片文件: