robots.txt怎么写,robots.txt文件的写法!

见到许多网址也没有robots文件,那麼一个基本的robots.txt文件应当要那么写呢,网编今日给大伙儿而言说robots.txt要怎么写,robots文件基本的书写。

robots文件

图中是网编的robots文件,我的个人网站是织梦cms的系统软件,织梦cms默认设置是有一部分robots文件的,网编先给大伙儿解释一下其中的写法。

1、容许全部百度搜索引擎浏览 User-agent: * Allow:

2、严禁全部百度搜索引擎浏览 User-agent: * Disallow: /

3、sitmap:Sitemap:

什么网页页面要用robots.txt屏蔽掉

了解要怎么写了,但许多盆友還是不清楚什么网页页面必须屏蔽掉,让百度搜索引擎不被浏览,其实不是很难,不愿被百度搜索引擎爬取的网页页面就屏蔽掉,那麼什么网页页面是大家不愿被百度搜索引擎爬取的呢。

空白页网页页面:什么叫空白页网页页面,例如注册网页、在线留言、关于我等网页页面归属于空白页网页页面,由于这类网页页面在百度搜索引擎看来是没有意义的,没人会检索申请注册赶到你的网址。

后台管理网页页面:后台管理不是被百度搜索引擎百度收录的,因此 大家必须robots屏蔽掉后台管理网页登陆。

动态性网页页面:一般状况下,大家网址都是做伪静态,那麼动态性网页页面大家会屏蔽。

小结:robots文件必须写,一来给百度搜索引擎做下更强的第一印象,次之是给百度搜索引擎做一个sitmap。

99%的人还阅读文章了:

robots是什么,robots要怎么写?

屏蔽掉百度爬虫的方式

本站软件,教程,程序等资源均来自网友发布或互联网收集,仅供用于学习和交流,本站不承担任何技术及版权问题,请在下载后24小时内删除,请勿用于非法用途。
转载请注明出处:
网赚 » robots.txt怎么写,robots.txt文件的写法!

提供最优质的资源集合

赞助会员 了解详情