wordpress的robots文件怎么写

2016-07-15 14:59 阅读: 1,260 次    评论 0 条

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”。Robots协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好的抓取网站内容,告诉搜索引擎那些页面可以抓取,那些页面不能抓取。

wordpress存在各种形式的订阅,回评,留言等机制,容易造成一个文章页面出现各种五花八门的路径形式,而从seo的角度出发,搜索引擎的路径中出现大量相同类型的内容时可能会判定为重复内容,严重的情况下可能会导致网站被降权,因此我们应该设置一个合理的robots.txt文件已屏蔽搜索引擎抓取我们不希望抓取的路径。

下面根据我们自己的需求,写一下robots.txt文件。

User-agent: * //设置爬取的搜索引擎,*代表所有的

Disallow: /wp-admin  //屏蔽掉后台登录页面地址,主要是是服务器的安全

Disallow: /wp-content/plugins  //屏蔽掉wordpress的插件目录

Disllow: /wp-content/themes  //屏蔽掉 wordpress的模板目录

Disllow: /wp-includes //屏蔽掉wordpress的底层程序目录

Disallow: /trackback //屏蔽wordpress的页面回评路径

Disallow: /feed //屏蔽wordpress的内容订阅路径

Disallow: /page //屏蔽默认的翻页路径

Disallow: /tag //屏蔽标签页面

Disallow: /wp-login.php//屏蔽后台登录页面

Sitemap: http://www.yunyunseo.com/sitemap.xml //引导蜘蛛爬取网站地图

Sitemap: http://www.yunyunseo.com/sitemap_baidu.xml //引导百度蜘蛛爬取网站

把这些放到一个新建的名称为robots.txt文本文件,然互上传到ftp网站的根目录。

版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:wordpress的robots文件怎么写 | 【济南云云SEO】济南网站优化_济南SEO网站建设
分类:SEO网站优化 标签:

发表评论


表情