任何一个Python相关的培训机构,都会把Python的爬虫功能当作一个亮点宣传,感觉很高端的样子,但几番折腾之后,感觉爬虫也没想象的那么难。今天就把我的经验分享给你,希望能不走过多的弯路,可以轻松的体验到爬虫的乐趣。
本文分二部分,一是爬虫思路,二是爬虫实例。
01爬虫思路:
1、利用程序打开指定的网页
2、在网页中查找需要的内容(单个或者多个)
3、保存或者下载找到的内容
02爬虫实例:
本次操作演示使用的电子产品:
硬件型号:清华同方电脑
软件版本:Python3.7.5
APP的版本信息:没有
一、前期准备
1、安装Python,我用的Python3.7.5
2、安装selenium模块,一般在cmd窗口执行pipinstallselenium就可以了。
安装pyautogui模块,pipinstallpyautogui
3、下载对应的浏览器驱动,我用的谷歌,所以下载的是chromeDriver,下载地址自动百度,记得要和自己的浏览器版本一致。(我的建议,初学者直接把下载好的驱动直接放在自己的源码所在的文件里,不行各种配置了,能玩起来再慢慢皮。)
4、会在浏览器里按F12打开调试窗口,并会用选择工具定位到需要的元素的代码,查看规律。如下图:
二、全功能代码:
fromseleniumimportwebdriverfromselenium.webdriver.