robosts文件有什么用处？

    首先我们先来了解一下robots.txt文件，它主要用于指令搜索引擎抓取内容，至于怎么抓取就看你怎么设置robots.txt文件。当你不会设置robots.txt文件时，留空都要建立这个文件，因为意味着搜索引擎默认是全部允许抓取。

    robots文件的记录格式为：<域>:〈可选空格〉〈域值〉〈可选空格〉。

    zui简单的robots文件：

    user-agent:*

    disallow:/

    而上面这个文件代表搜索引擎禁止收录所有内容。

    user-agent:*

    disallow:

    而这个文件则代表搜索引擎允许收所有内容。

    其次，robots.txt文件应该放在网站根目录下，比如:https://www.fx0731.com,这个网站，我们应该    把robots.txt文件放于https://www.fx0731.com/robots.txt

    也就是放于根目录下。当然有的服务器有问题，会返回一些错误信息，就意味道robots文件不存在。所以服务器设置方面应该注意的。

    我们再来看看一些robots.txt设置的举例：

    user-agent: * 　　

    disallow: /admin/ 后台管理文件 　　

    disallow: /require/ 程序文件 　　

    disallow: /attachment/ 附件 　　

    disallow: /images/ 图片 　　

    disallow: /data/ 数据库文件 　　

    disallow: /template/ 模板文件 　　

    disallow: /css/ 样式表文件 　　

    disallow: /lang/ 编码文件 　　

    disallow: /script/ 脚本文件

    当然也有meta robots标签，只不过谷歌，必应，雅虎才支持。比如：   〈metaname="robots"content="noindex,nofollow">,表示禁止所有搜索引擎索引本页面。还有一些相    关标签如下：

    noindex: 告诉蜘蛛不要索引本页面。

    nofollow:告诉蜘蛛不要跟踪本页面上的链接。

    nosnippet:告诉搜索引擎不要在搜索结果中显示说明文字。

    noarchive:告诉搜索引擎不要显示快照。

    noodp:告诉搜索引擎不要使用开放目录中的标题和说明。

    百度目前是只支持nofollow,noarchive的。

    再者，robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：    sitemap:https://www.mahaibin.org/sitemap.xml，总之这些设置方面还要你自己多花些心思去研究下，看看什么该抓取什么不该，这样才能对你网站做优化有好处。

    robosts文件有什么用，怎么去更解？

    robosts文件有什么作用，到底网站优化中有什么作用？今天在这里一一说明一下。希望大家以后在创建robots文件时能有更好的理解。

    首先我们先来了解一下robots.txt文件，它主要用于指令搜索引擎抓取内容，至于怎么抓取就看你怎么设置robots.txt文件。当你不会设置robots.txt文件时，留空都要建立这个文件，因为意味着搜索引擎默认是全部允许抓取。

    robots文件的记录格式为：<域>:〈可选空格〉〈域值〉〈可选空格〉。

    zui简单的robots文件：

    user-agent:*

    disallow:/

    而上面这个文件代表搜索引擎禁止收录所有内容。

    user-agent:*

    disallow:

    而这个文件则代表搜索引擎允许收所有内容。

    其次，robots.txt文件应该放在网站根目录下，比如:https://www.fx0731.com,这个网站，我们应该把robots.txt文件放于https://www.fx0731.com/robots.txt

    也就是放于根目录下。当然有的服务器有问题，会返回一些错误信息，就意味道robots文件不存在。    所以服务器设置方面应该注意的。

    我们再来看看一些robots.txt设置的举例：

    user-agent: * 　　

    disallow: /admin/ 后台管理文件 　　

    disallow: /require/ 程序文件 　　

    disallow: /attachment/ 附件 　　

    disallow: /images/ 图片 　　

    disallow: /data/ 数据库文件 　　

    disallow: /template/ 模板文件 　　

    disallow: /css/ 样式表文件 　　

    disallow: /lang/ 编码文件 　　

    disallow: /script/ 脚本文件

    当然也有meta robots标签，只不过谷歌，必应，雅虎才支持。比如：   〈metaname="robots"content="noindex,nofollow">,表示禁止所有搜索引擎索引本页面。还有一些相    关标签如下：

    noindex: 告诉蜘蛛不要索引本页面。

    nofollow:告诉蜘蛛不要跟踪本页面上的链接。

    nosnippet:告诉搜索引擎不要在搜索结果中显示说明文字。

    noarchive:告诉搜索引擎不要显示快照。

    noodp:告诉搜索引擎不要使用开放目录中的标题和说明。

    百度目前是只支持nofollow,noarchive的。

    再者，robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：    sitemap:https://www.mahaibin.org/sitemap.xml，总之这些设置方面还要你自己多花些心思去研究下，看看什么该抓取什么不该，这样才能对你网站优化有好处。