随着互联网的数据爆炸式增长，而利用Python爬虫我们可以获取大量有价值的数据：
1.爬取数据，进行市场调研和商业分析
爬取知乎优质答案，筛选各话题下最优质的内容；抓取房产网站买卖信息，分析房价变化趋势、做不同区域的房价分析；爬取招聘网站职位信息，分析各行业人才需求情况及薪资水平。
2.作为机器学习、数据挖掘的原始数据
比如你要做一个推荐系统，那么你可以去爬取更多维度的数据，做出更好的模型。
3.爬取优质的资源：图片、文本、视频
爬取商品的评论以及各种图片网站，获得图片资源以及评论文本数据。
掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现。
首先我们来了解爬虫的基本原理及过程
大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。
简单来说，我们向服务器发送请求后，会得到返回的页面，通过解析页面之后，我们可以抽取我们想要的那部分信息，并存储在指定的文档或数据库中。
在这部分你可以简单了解HTTP协议及网页基础知识，比如POSTGET、HTML、CSS、JS，简单了解即可，不需要系统学习。
学习Python包并实现基本的爬虫过程
Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider等，建议你从requests+Xpath开始，requests负责连接网站，返回网页，Xpath用于解析网页，便于抽取数据。
如果你用过BeautifulSoup，会发现Xpath要省事不少，一层一层检查元素代码的工作，全都省略了。掌握之后，你会发现爬虫的基本套路都差不多，一般的静态网站根本不在话下，小猪、豆瓣、糗事百科、腾讯新闻等基本上都可以上手了。
存数据
首先，我们来说存数据，是因为在初期学习的时候，接触的少，也不需要太过于