什么情况下，不想让网站被百度收录？显然是网站还没准备好。很多时候，我们做网站喜欢在线做。在线做的好处就是客户可以随时看到我们做网站的进度。坏处就是在还没有做好的时候，就被百度索引了。一旦被索引，更新索引就需要一段时间。
所以，在网站还没准备好之时，我们希望暂时不要被百度收录。方法如下：
如果你使用WordPress做的网站，0基础即可完成
在WordPress后台，有个设置（settings），里面有个阅读，勾选“建议搜索引擎不索引本站点”。
勾选之后，网站正式上线，记得取消勾选。
使用robots.txt文件
robots.txt文件是什么
一个robots.txt文件是由搜索引擎蜘蛛阅读并遵循严格的语法的文本文件。这些蜘蛛也被称为机器人 – 正如其名 – 文件的语法是严格的，因为它必须是计算机可读的。这意味着这里没有错误的余地 – 有些是1或0。
该robots.txt文件也称为“机器人排除协议”，是早期搜索引擎蜘蛛开发者达成共识的结果。它不是任何标准组织设定的官方标准，但所有主要搜索引擎都遵守它。
搜索引擎通过抓取页面，从站点A到站点B到站点C的链接来索引Web，以此类推。在搜索引擎抓取该网站之前会先读robots.txt文件，该文件告诉搜索引擎允许该站点上的哪些URL可以索引。搜索引擎会缓存内容robots.txt，但通常会每天刷新几次，因此更改会很快反映出来。
robots.txt文件位置
该文件存放在网站根目录下，也就是说你必须可以使用 你的域名/robots.txt 可以在浏览器打开。
robots.txt内容
如果你想阻止所有搜索引擎索引你的网站，内容如下：
User-agent: *Disallow: /
User-agent可以指定搜索引擎的蜘蛛名称。如果*，则表示针对所有搜索引擎的。Disallow是指不允许抓取的目录。斜杠表示从根目录就不允许抓取。
附录User-agent名称：
发稿网（QQ：599515669）是全国领先的在线新闻稿发布平台，团队由资深互联网专家组成，服务内容类涵盖软文发布、软文发布、微信营销、微博营销、视频置顶、百度问答等多种互联网广告行业。发稿网平台有上千媒介编辑、专业写手、段子手、营销专家，为企业、公共机构和个人提供定制化的解决方案，将创意、智慧、技能转化为商业价值和社会价值。发稿网平台凭借多年的网络资源和客户资源积累，发展遥遥领先同行业其他软文平台。
