• 苏州同乾文化传媒有限公司为您的企业赋予能量,一站式企业服务!
  • 打开微信扫一扫,
    您还可以在这里找到我们哟

    关注我们

  • robots是什么及robots.txt文件的格式与用法书写标准

    阅读:1847 2019-08-13 09:18:16 来源:https://www.tongqian.org 作者:同乾传媒

    robots是什么及robots.txt文件的格式与用法书写标准

    robots.txt

    robots文件其实就是一个网站的权限清单,一般只针对网站做SEO优化。你可以在robots文件里面写上哪些网站目录和链接允许被搜索引擎抓取,哪些被不允许抓取收录。


    robots文件常用写法:


    User-agent: * 

    Disallow:/

    robots协议放哪里?

    不想让搜索引擎收录,可以通过上面的代码来屏蔽搜索引擎。


    把文件重命名为robots.txt,再把robots.txt通过FTP等方式放到网站根目录下。


    robots协议如何屏蔽所有搜索引擎?


    User-agent: *

    Disallow:/


    robots.txt的写法规则

    User-agent: * 符号*为通配符 代表所有的搜索引擎种类。


    Disallow禁止收录

    代码Disallow: 表示禁止搜索引擎爬取及收录 用法如下

    Disallow: /admin/ 比如禁止爬寻admin(admin一般为网站管理后台)的目录

    Disallow: /ABC/ 举例abc目录 禁止任何搜索引擎爬取收录网站里为ABC的目录及其子目录

    Disallow: *.htm 禁止访问目录下的所有以".htm"为后缀的URL(包含子目录)。

    Disallow: /*?* 禁止访问网站中所有的动态页面

    Disallow: /jpg$ 禁止抓取网页所有的.jpg格式的图片

    Disallow:/abc/abc.html 禁止爬去abc文件夹下面的abc.html文件。

    Allow允许收录

    代码Allow: 表示允许搜索引擎爬取及收录 用法如下

    允许爬取及收录

    Allow: /abc/ 这里定义是允许爬寻cgi-bin目录下面的目录

    Allow: * 这里定义是允许爬全站任何文件及目录

    Allow: .htm$ 仅允许访问以".htm"为后缀的URL。

    Allow: .gif$ 允许抓取网页和gif格式图片

    robots代码参考大全:

    robots代码


    还有一种允许搜索引擎抓取网站全部内容的方式就是robots.txt为空或者不创建robots.txt文件


    以上就是苏州网站建设公司同乾传媒为大家做的网站robots.txt文件用法举例,robots.txt对网站SEO优化和排名极其重要,熟悉了解后再使用请勿随意使用不然会引起不必要的错误状况。




    分享到:
    相关文章 你可能感兴趣