【SEO优化】网站robots.txt 填写建议

搜索引擎蜘蛛访问网站时会第一个访问robots.txt文件，robots.txt用于指导搜索引擎蜘蛛禁止抓取网站某些内容或只允许抓取那些内容，放在站点根目录。

• User-agent 表示以下规则适用哪个蜘蛛，*表示所有
• #表示注释
• Disallow 表示禁止抓取的文件或目录，必须每个一行，分开写
• Allow 表示允许抓取的文件或目录，必须每个一行，分开写
• Sitemap 表示站点XML地图，注意S大写

下面表示禁止所有搜索引擎蜘蛛抓取任何内容

User-agent: *
Disallow: /

下面表示允许所有搜索引擎蜘蛛抓取任何内容

User-agent: *
Disallow:

meta robots

如果要想URL完全不出现在搜索结果中，则需设置meta robots

<meta name="robots" content="onindex,nofollow">

上面代码表示：禁止所有搜索引擎索引本页，禁止跟踪本页上的链接。

当然还有其他类型的content，不过各个浏览器支持情况不同，所以这里忽略。