当前位置:澳门正规赌场 > 网站优化 > 正文

robots文件常用的三种基本语法与用法

本文地址:http://www.sylobi.com/content/212.html
文章摘要:robots文件常用的三种基本语法与用法,,。

龙腾SEO龙腾SEO 2019-04-03 242 0

在网站优化的过程中,有时我们会有一些重要及私密的内容,并不希望这些页面被搜索引擎蜘蛛抓取,比如后台的数据、测试阶段的网站,还有一种很常见的情况,搜索引擎抓取了大量没有意义的页面,如电子商务网站按照各种条件过滤、筛选的页面等,那么要确保页面不被抓取需要使用robots文件。

robots

robots.txt是一个纯文本文件,我们用来告诉各个搜索引擎网站中不想被蜘蛛抓取或访问的部分,当蜘蛛访问一个站点时,它会先检查该站点是否有robots. txt文件,一般我们放在根目录下,如果找到,蜘蛛就会根据文件中的内容来确定要抓取的范围,如果这个文件不存在,那么蜘蛛就会继续沿着链接去抓取,也就是只有要禁止抓取某些内容时,写robots文件才有意义。

robots.txt通常我们放在站点的根目录,我们应该都知道根目录是什么意思,这里不多做解释,文件名要全部小写,如果你想查看网站的robots协议,直接在域名后面加上robots.txt回车即可,下面介绍robots的语法。

robots文件的常用语法有3种,分别是 User-agent、Alow、Disallow,下面是具体用法。

(1) User-agent
指定robots.txt中的规则针对哪个搜索引擎蜘蛛,如果针对所有搜索引擎蜘蛛的写法是 User-agent:*,通配符*代表所有搜索引擎。如果只是百度蜘蛛,那么正确写法是 User-agent::Baiduspider,不同的搜索引擎蜘蛛的名称也不相同。

(2) Allow
允许蜘蛛抓取某些文件,比如允许蜘蛛访问网站中的news目录,正确写法是:Allow:/news/。
$:表示匹配URL结尾的字符,比如允许蜘蛛抓取以.html为后缀的URL,写法是:Allow:html$。

(3) Disallow
告诉搜索引擎蜘蛛不要抓取这些文件或目录,比如禁止蜘蛛抓取/admin/目录的写法是:Disallow:/admin/。
而禁止的目录或文件也要分开写,每个单独一行,比如禁止所有的搜索引擎蜘蛛抓取a、b、c目录,正确的写法如下:
User-agent:*
Disallow:/a/
Disallow:/b/
Disallow:/c/

作为一名合格的SEO人员,我们还是要熟练掌握robots.txt的基本语法,现在站长工具也很方便,直接在线通过选项生成robots文件,再传上根目录即可。

转载请注明来自澳门正规赌场,本文标题:robots文件常用的三种基本语法与用法
本文地址:http://www.sylobi.com/content/212.html

标签:

本文暂时没有评论,来添加一个吧(●'?'●)

欢迎 发表评论:

关于我

欢迎加我的微信号交流

热门文章
随机tag
mysql命令软文营销百度竞价推广wap推广404 not found浮动广告代码百度快照伪原创写法企业SEO微博营销电商推广新媒体营销百度恶意点击长尾关键词内链优化网站优化外包wordpress搬家外链建设新闻营销网站搬家关键词优化UGC301重定向百度蜘蛛
最新评论