
测试站被百度收录的处理方法
某个平台的测试站xxxxx(代指测试网站)被百度收录了,这个站如果不控制,一直参与收录和排名的话会给平台带来很大的负面影响。以后我们平台的测试站,只要不是给客户看的,一律选择以下方法之一处理:
方法一:
测试域名下设置robots.txt文件,放在测试站根目录,禁止百度抓取网站的任何页面
User-agent: *
Disallow: /
方法二:
将”nofollow”写在网页上的meta标签上,用来告诉搜索引擎不许抓取本页,也不许顺着本页抓取索引别的链接:
<meta name=”robots” content=”noindex,nofollow”>