发现搜索引擎收录了不少带get参数的网页,造成了很多重复页面被收录。我们可以手动建立一个robots.txt来阻止搜索引擎收录不相关的地址。
例如:
https://www.qiansw.com/simsimi-qq-robot.html?replytocom=298
https://www.qiansw.com/simsimi-qq-robot.html/comment-page-1?replytocom=23
标红的部分是多出来的。
导致与https://www.qiansw.com/simsimi-qq-robot.html成为重复的页面。
下面是我使用的robots.txt文件。
也可以点击这里查看本站的robots.txt。
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /*?* Disallow: /*comment-page*
这篇文章还没有人留言,快来抢沙发吧。