Python进阶记录之urllib模块

回顾在Python进阶记录之基础篇(二十五)中,我们介绍了Python中正则表达式的简单使用,需要重点掌握re模块的几个常用函数,理解正则表达式的模式语法。今天我们讲一下Python中内置的HTTP请求库——urllib模块。urllib模块简介urllib模块是Python内置的HTTP请求库,它不需要我们额外安装,可以直接引入urllib模块进行使用。urllib模块主要包含四大块内容:1、request,它是urllib模块中最核心的部分,是最基本的HTTP请求模块。request可以模拟发送请求,就像我们在浏览器里输入网址然后敲击回车一样。2、error,它是urllib的异常处理模块,当模拟的请求发生错误时,比如网络连接失败、禁止访问等,我们就可以使用error模块来捕获这些异常,然后进行重试或其他操作来保证程序不会意外终止。3、parse,它是urllib的一个工具模块,提供了许多对URL的处理方法,比如拆分、解析、合并等。4、robotparser,它的功能主要用于识别网站下的robots.txt文件,通过robots.txt文件可以帮助我们判断当前网站是否可以爬,从而远离不必要的法律纠纷。urllib中的request模块request是urllib模块中最核心的部分,我们今天主要介绍一下request的用法。request可以模拟网络请求进行get或post请求。get请求get请求直接向服务器获取指定资源,例如我们在浏览器上输入“


转载请注明:http://www.aierlanlan.com/grrz/7401.html