大数据时代，网络数据采集作为人工智能，大数据与机器学习等领域的交汇点，已经成为了十分热门的一个领域。
随便在一个招聘网站输入“爬虫”关键字
对于爬虫工程师要求不是很高，薪资还不错，想好了转型了吗？
接下来完全就是干货分享，欢迎大家关注！
目标
最终我们的目标：搭建scrapy redis分布式爬虫，利用elasticsearch django实现搜索引擎
爬虫基础知识
进入我们的正文
一、准备工作
1.开发语言：Python
人生苦短我用Python，Python已经成为增长最快的主流编程语言。
2.系统：Linux
这里推荐使用国产的Deepin系统，原因是内置商店有许多实用的开发工具。
当然Windows系统也没什么问题，有时候需要额外安装一些库才能解决问题。
3.开发工具：Pycharm
简单实用，关注并私信回复“编译器”获得专业版资源
二、开始学习
如果没有Python基础，建议学习廖雪峰的Python3课程，免费良心推荐。只要掌握了基本的使用即可，比如变量定义，循环，list和tuple，dict和set等就行，入门我们甚至不需要掌握函数、异步、多线程、多进程，可以留到以后的提高阶段。
（一）Python3开发爬虫入门
如果你已经很熟悉Python了，那么就进入下面的学习：
既然我们要抓取网页，首先的了解网页的结构，知道我们需要的数据是怎么样来的。
这里介绍两种呈现方式：
1.HTML
2.JSON
HTML是用来描述网页的一种语言
JSON是一种轻量级的数据交换格式
以上内容在w3school有详细介绍和学习教程，完全免费的哦。
准备工作基本完成，下一期我们将真正进入数据抓取的世界。
欢迎大家关注，提出问题。
发稿网（QQ：599515669）是全国领先的在线新闻稿发布平台，团队由资深互联网专家组成，服务内容类涵盖软文发布、软文发布、微信营销、微博营销、视频置顶、百度问答等多种互联网广告行业。发稿网平台有上千媒介编辑、专业写手、段子手、营销专家，为企业、公共机构和个人提供定制化的解决方案，将创意、智慧、技能转化为商业价值和社会价值。发稿网平台凭借多年的网络资源和客户资源积累，发展遥遥领先同行业其他软文平台。