2022年崔庆才Python3爬虫教

我们知道爬虫是IO密集型任务，比如如果我们使用quests库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。对于这种情况，我们有没有优化方案呢？

当然有，下面我们就来了解一下异步爬虫的基本概念和实现。

要实现异步机制的爬虫，那自然和协程脱不了关系。

1.案例引入

在介绍协程之前，我们先来看一个案例网站，链接地址为：