wordpress程序SEO优化中robots的写法

阿里云爆款云主机

安全、稳定、快速。限时优惠,低至3折

现在购买

特别声明:本站文章多为原创,部分网络转载内容,如有侵权请联系我们!

站长朋友都知道搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider我们俗称蜘蛛,它在访问一个网站时,会首先会检查该网站的根域下是否有一个robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您robots.txt中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

但是很多朋友只知道复制别人给出robots写法,自己却没有真正了解里面的内容是什么意思,其说说起来并不复杂,robots.txt里面通常包含三个规则:

1、User-agent:指定搜索引擎蜘蛛。后面如果是*,那就代表所有的搜索引擎,如果单独写明:Baiduspider,那就是指百度蜘蛛。

2、Disallow :指定禁止收录的地址。后面如果是/,那就是指所有

3、Allow: 指定允许收录的地址

了解了这三个规则,就知道了robots中每一行的含义。我们也就能更有针对性的部署我们的robots文件了,需要注意的是冒号后面必须有一个空格。

例如禁止所有搜索引擎收录:

User-agent: *
Disallow: /

允许所有搜索引擎收录:

User-agent: *

Allow: /

下面分享一个wordpress程序的robots文件写法:

User-agent: *

Disallow: /comments/feed/

Disallow: /*/trackback

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /wp-content/themes/

Disallow: /*?replytocom=

Disallow: /*/comment-page-*

Disallow: /?r=*

Disallow: /?p=*

Disallow: /page/

Allow: /wp-content/uploads/

上面的 User-agent:*意思就是对所有的蜘蛛进行定义,Disallow 是拒绝收录,我想大家都懂的。

未经允许不得转载:作者:楚狂人, 转载或复制请以 超链接形式 并注明出处 楚狂人博客
原文地址:《wordpress程序SEO优化中robots的写法》 发布于2013-01-18

分享到:
赞(0) 打赏

评论 抢沙发

9 + 2 =


wordpress程序SEO优化中robots的写法

长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

阿里云主机爆款活动
云服务器全场2折起,活动期间,用户通过本活动页面购买指定云产品,可享受相应的优惠折扣同一用户限购1单。
切换注册

登录

忘记密码 ?

切换登录

注册