百搜测试站被百度收录的处理方法实际案例

测试站被百度收录的处理方法

某个平台的测试站xxxxx(代指测试网站)被百度收录了,这个站如果不控制,一直参与收录和排名的话会给平台带来很大的负面影响。以后我们平台的测试站,只要不是给客户看的,一律选择以下方法之一处理:

方法一

测试域名下设置robots.txt文件,放在测试站根目录,禁止百度抓取网站的任何页面

User-agent: *

Disallow: /

方法

将”nofollow”写在网页上的meta标签上,用来告诉搜索引擎不许抓取本页,也不许顺着本页抓取索引别的链接:

<meta name=”robots” content=”noindex,nofollow”>