接着之前写到的高权重优先之后，我们接着来介绍：
暗网抓取
暗网是指那些储存在网络数据库里、不能通过超链接访问而需要通过动态网页技术或者人工发起查询访问的资源集合，不属于那些可以被标准搜索引擎索引的信息
1.查询组合
暗网数据普遍存在于大型网站中，最常见的表现形式就是网站的搜索功能（包括组合条件查询及文本检索）。例如，旅游网站的机票数据，由于数据量极其巨大，通过链接的方式显示所有的机票信息是不现实的。因此，该类网站通常会提供相应的搜索功能供用户使用，以便用户能够快速检索个人化的需求信息。根据网站的机票搜索功能，用户可以通过航程类型、出发城市、到达城市、出发时间及返回时间等多条件组合来检索机票信息。
在互联网上，暗网数据量是及其巨大的，但不是所有的暗网数据都是有价值的，这就要求搜索引擎需要有特殊的蜘蛛程序对这些暗网数据进行挖掘及识别。
例如，某人才的高级搜索功能，至少包含了8个查询条件，如果搜索引擎将每一个条件组成不同的查询组合提交给网站，这样不但会给网站的服务器打来巨大的压力，而且对于蜘蛛程序来说也是一个灾难（暂且不讨论每种组合的查询条件得到的查询结果能得到有价值的信息）。
因此，搜索引擎通常只会对有可能返回有价值的信息的查询条件进行组合。对一些主要的条件如行业分类、职位分类、工作地点进行组合查询即可找到该站的有价值信息。
2.文本检索
对于大多数网站而言，文本检索（即站内搜索）是最常见的搜索功能。因此，文本检索也是最常见的暗网数据获取方式之一。例如当当网的站内搜索功能，搜索引擎通过人工整理一些种子关键字，向目标网站提交进行查询，除了抓取查询结果页面外，还会从已抓取回来的页面中提取出的关键字，进而形成新的待查询关键字列表。
3.用户提交
为了抓取更多的网页，搜索引擎还允许网站管理员主动提交网页。网站管理员只需把网站中页面的URL按照指定的格式制作成文件，提交给搜索引擎，搜索引擎就可以通过该文件对网站中的页面进行抓取及更新。
这种由网站管理员主动提交页面的方式大大提高了搜索引擎抓取页面的效率，也大大增加了网站页面被抓取的数量（目前主流的搜索引擎都支持这种页面抓取方式，如Google、百度及搜狗等）。
另外，为了提高抓取页面的效率及质量，搜索引擎会结合多种策略去抓取页面。例如，先使用广度优先的方式，把抓取范围铺的尽可能宽，获取尽可能多的重要页面；在使用深度优先的方式，抓取更多隐蔽的页面，最后，结合暗网抓取、用户提交等方式抓取那些被遗漏的页面。
四 、如何避免重复性抓取
在互联网中，信息重复是在所难免的。然而，搜索引擎是怎样识别重复信息的呢？怎样判断那些网页的信息是原创的，那些是复制的？又会认为那些重复的信息是有价值的，那些是可以舍弃的？
网站中的重复信息主要包括转载内容及镜像内容两大类。搜索引擎在对页面进行分析的时候，必须具备识别重复信息的能力。因为大量的重复信息不但占用巨大的服务器硬盘空间，而且还会增加用户寻找信息的时间，降低用户体验。但这并不意味着所有重复信息都是没有价值的，搜索引擎认为转载内容不如原创内容重要，赋予原创内容页面更高的权重，而镜像内容则几乎忽略。
转载页面
转载页面是指那些与原创页面正文内容相同或相近的页面。然而，搜索引擎如何识别转载页面呢？首先，它把网页正文内容分成N个区域并进行比较，如果其中有M个区域是相同或者相似的，则认为这些页面互为转载页面。为了识别这两个页面是否互为转载页面，搜索引擎先把这两个页面的正文内容分成4个区域进行比较。假设这4个区域中有3个是完全相同或者相似的，那么就认为这两个页面是互为转载的。
在确定页面互为转载关系后，接下来，搜索引擎再结合页面的最后修改的时间（搜索引擎在抓取页面时已经存储的附件信息）、页面权重等因素判断原创页面与转载页面。
镜像页面
内容完全相同的页面互为镜像页面。要判断页面是否互为镜像页面，搜索引擎首先把这些页面分成N个区域进行比较，如果这N个区域的内容完全一样，则认为这些页面互为镜像页面。然后，再综合多项因素来识别那个是源页面，那个是镜像页面。
镜像网站
狭义上的镜像网站是指内容完全相同的网站，形成镜像网站主要有两种情况：第一种是多个域名或IP指向同一服务器的同一个物理目录；另外一种是整个网站内容被复制到使用不能域名或者不同IP的服务器上。
为了识别站点间是否互为镜像网站，搜索引擎首先判断这些网站的首页以及与首页直接链接的页面是否互为镜像页面。如果是，则互为镜像网站。然后，在综合多项因素来识别那个是源网站，那个是镜像网站。这样，以后抓取页面的时候就集中在源网站中进行，这也是为什么搜索引擎对于镜像网站只抓取极少页面甚至不抓取页面的原因。
发稿网（QQ：599515669）是全国领先的在线新闻稿发布平台，团队由资深互联网专家组成，服务内容类涵盖软文发布、软文发布、微信营销、微博营销、视频置顶、百度问答等多种互联网广告行业。发稿网平台有上千媒介编辑、专业写手、段子手、营销专家，为企业、公共机构和个人提供定制化的解决方案，将创意、智慧、技能转化为商业价值和社会价值。发稿网平台凭借多年的网络资源和客户资源积累，发展遥遥领先同行业其他软文平台。