由于我们会将所有的数据都存储在数据库中以便今后常用，所以代码中会有部分sqlite数据库的相关代码操作。
调试环境python3.6
REC20180314175138.mp3
00:00
来自sun菜菜
第一部分、爬取网站生成网站数据库
这一部分，我们的目标是将域名下的所有网页的信息生成几个数据集。
将下面的代码存储成spyder.py
上面就完成了一个基本的爬虫类，当然今天我们还会在这个类中添加一些功能，以适应更加丰富的搜索。
下面我们就可以借用这个类来爬取一个网站了。
爬取部分算是完成了。下面就可以来测试一下了。
在模块中我们先建立一个搜索引擎类。
select w0.urlid,w0.location,w1.location from wordlocation w0,wordlocation w1 where w0.wordid=126 and w0.urlid=w1.urlid and w1.wordid=1271
where w0.wordid=126 and w0.urlid=w1.urlid and w1.wordid=1271
再来看from后面的语句。表示wordlocation表可以用w0这个名称代替，wordlocation这个表也可以用w1这个名称代替。
from wordlocation w0,wordlocation w1 1
最后来看select后的语句。上面查询到的数据集既有w0中的又有w1中的，把w0中记录的urlid字段、w0中记录的location字段、w1中记录的location字段提取出来。
select w0.urlid,w0.location,w1.location 1
最终形成了我们想要的数据集格式。
查询实现代码如下：
可以看出列表中的每个元组中，第一列代表是网址id，后面的列是每个关键词出现的位置的一种组合。
我们将会介绍几种排名算法，所谓排名也就是根据各自的规则为每个链接评分，评分越好。并且最终我们会将几种排名算法综合利用起来，给出最终的排名。既然要综合利用，那么我们就要先实现每种算法。在综合利用时会遇到几个问题。
1、每种排名算法评分机制不同，给出的评分尺度和含义也不尽相同
2、如何综合利用，要考虑每种算法的效果。为效果好的给与较大的权重。
我们先来考虑第一个问题，如何消除每种评分算法所给出的评分尺度和含义不相同的问题。
第2个问题，等研究完所有的算法以后再来考虑。
简单，使用归一化，将每个评分值缩放到0-1上，1代表最高，0代表最低。
第4个排名算法：利用指向该链接的链接数目进行评价
我们可以认为查询到的相关链接中，如果有较多的其他链接在文档中指向了当前链接，这该链接内容质量比较好。
第5个排名算法：pagerank算法
互联网中的网页可以看出是一个有向图，其中网页是结点，如果网页A有链接到网页B，则存在一条有向边A->B，下面是一个简单的示例：
这个例子中只有四个网页，如果当前在A网页，那么悠闲的上网者将会各以1/3的概率跳转到B、C、D，这里的3表示A有3条出链，如果一个网页有k条出链，那么跳转任意一个出链上的概率是1/k，同理D到B、C的概率各为1/2，而B到C的概率为0。
在跳转有向图中不考虑指向自己的链接
由于上网者并不一定会点击网络中的链接跳转到新的网址，所以我们需要设置阻尼系数，代表用户点击链接进入新网址的概率。
第一步、提前迭代计算每个网址的pagerank的值。
每个链接的pagerank=每个指向此链接的网页的pagerank/该网页中的链接总数*0.85+0.15，其中0.85表示阻尼因子，表示网页是否点击该网页中的链接。
先初始化每个网页的pagerank的值为1，然后按照上面的方法迭代n次计算每个网页的pagerank。
我们在spyder.py模块的crawler类中添加下面的函数
第五部分、综合利用各种评分算法，将查询到的网址进行评分排名
现在我们已经能根据用户输入字符串，分词成多个关键词，查询相关网址，对网址进行评分。那只要按照分数进行排序，给出排名靠前的搜索引擎就完成了。
返回的结果为
神经网络设计搜索引擎，简单的说就是会记忆用户的选择行为。比如搜索引擎根据已有的算法为用户的搜索返回了一些网址。但是这些网址究竟好不好呢。网站并没有这样一个反馈机制。而搜索引擎就是为这样一个反馈机制存在的。当用户选择了一个推荐的网址，神经网络就会为这个网址添加一定的权重，下次搜索相同的内容，更加情愿优先推荐权重大的网址。
将下面的代码存储成nn.py
根据长时间的用户行为，为新搜索相关的网址进行排名
发稿网（QQ：599515669）是全国领先的在线新闻稿发布平台，团队由资深互联网专家组成，服务内容类涵盖软文发布、软文发布、微信营销、微博营销、视频置顶、百度问答等多种互联网广告行业。发稿网平台有上千媒介编辑、专业写手、段子手、营销专家，为企业、公共机构和个人提供定制化的解决方案，将创意、智慧、技能转化为商业价值和社会价值。发稿网平台凭借多年的网络资源和客户资源积累，发展遥遥领先同行业其他软文平台。