有些企业做分布式深网爬虫，基本上会建立稳定的代理池服务，为成千上万的爬虫提供有效的代理，保证所有爬虫都能获得相应网站的有效代理IP，从而保证爬虫的快速稳定运行。公司所做的事当然不能开源。但闲暇时，我感到手痒，所以我想用一些免费的资源来做一个简单的代理池服务。
IP代理来自哪里？
刚刚自学爬虫时，没有代理IP就去西刺、快代理等有免费代理的网站，或有个别代理可供使用。如果您有更好的代理界面，当然也可以自己访问。
收集自由代理也很简单，不外乎访问页面-正则/xpath提取-保存。
如何确保代理质量？
当然，大多数免费代理IP都不能使用，否则为什么别人还提供付费(但事实上，许多代理的付费IP并不稳定，许多不能使用)。所以收集到的代理IP不能直接使用，可以写检测程序不断地使用这些代理访问一个稳定的网站，看是否能正常使用。由于检测代理是一个缓慢的过程，所以这个过程可以采用多线程或异步的方式。
怎样存储收集代理？
在此推荐NoSQL数据库SSDB，高性能支持多种数据结构，代理Redis。支援队列，hash,set,k-v对，T级数据。这是一个很好的分布式爬虫中间存储工具。
怎样使爬虫更容易使用这些代理？
答案必须是服务。python有这么多web框架，用写api调用给爬虫。这有很多好处。比如爬虫发现代理不能用，可以主动通过apidelete代理IP。当爬虫发现代理池IP不够时，可以主动去refresh代理池。这比检测程序更可靠。