如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，
沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；
从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用；
基本环境配置
版本：Python
系统：Windows
IDE：Pycharm
爬虫所需工具：请求库：requests,selenium（可以驱动浏览器解析渲染CSS和JS，但有性能劣势（有用没用的网页都会加载）；）
解析库：正则，beautifulsoup，pyquery
存储库：文件，MySQL，Mongodb，Redis
Python爬虫基本流程基础版：函数封装版并发版（如果一共需要爬30个视频，开30个线程去做，花的时间就是其中最慢那份的耗时时间）
明白了Python爬虫的基本流程，然后对照代码是不是觉得爬虫特别的简单呢？
今天的分享到这里就告一段落了，如果你喜欢这篇文章，可以把它分享到朋友圈哦。
如果你想学习Python可以加我的免费领取，加了就能免费领取一套Python资料，每晚8点直播讲解Python！
声明：文章著作权归作者所有，如有侵权，请联系小编删除。
觉得不错，点个“在看”然后转发出去
预览时标签不可点收录于合集#个上一篇下一篇