人力资源部漂亮的小MM，跑来问我：老陈，数据分析和爬虫究竟是关系呀？说实在的，我真不想理她，因为我一直认为这个跟她的工作关系不大，可一想到她负责我负责部门的招聘工作，我只好勉为其难地跟她说：数据分析，吃里，爬虫，爬外，合在一起就是吃里爬外。
大数据时代，要想进行数据分析，首先要有数据来源，单靠公司那几条毛毛雨(数据)，分析个寂寞都不够，唯有通过学习爬虫，从外部(网站)爬取一些相关、有用的数据，才能让老板进行商业决策时的有据可依，而你，亦是老板。
一提到老板，漂亮的小MM，兴奋得不得了，马上大声问：你们IT界，最帅的是不是就是那个搞搜索引擎的李老板？
我尽管有点不服气，有点不开心，但我能怎么得，毕竟在网络爬虫方面，他(李老板)的技术比确实强。他懂得用爬虫技术，每天在海量互联网信息中进行爬取，爬取优质的信息并收录在他设定的数据库中。当用户在搜索引擎中，输入关键字时，引擎系统将对关键词进行数据分析处理，从收录的网页中找出相关网页，按照一定的排名规则排序并将结果展现给用户。
一想到排名赚到的money，李老板一分都不给我，我就跟人力MM说：好了，不跟你扯犊子了，我要跟我的老铁说网络爬虫的原理了，你个吃里爬外的家伙，见你的老板去吧。
1.爬虫是什么
网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器等，它按照我们制定的规则，在网络上爬取数据。爬到的结果中会有HTML代码、JSON数据、图片、音频或视频。程序员根据实际要求，对数据进行过滤，提取其中有用的，进行存储。
说白点，就是用Python编程语言模拟浏览器，访问指定网站，对其返回结果，按规则进行筛选并提取自己需要的数据，存放起来使用，以供使用。
看过我《第10天
12天搞定Python，文件操作》和《第11天
12天搞定Python，数据库操作》的老铁，应该知道，数据常存在文件或数据库中。
2.爬取流程
用户通过浏览器访问网络数据的方式：打开浏览器-输入网址-浏览器提交请求-下载网页代码-解析成页面。
爬虫编程，指定网址，模拟浏览器发送请求(获取网页代码)-提取有用的数据-存放于文件或数据库中。
爬虫编程，推荐用Python，是因为Python爬虫库简单易用，在Python内置环境中的，就可以满足大多数功能。它可以：
(1)用