Python爬取美团评论商家信息,导出

北京怎样治疗白癜风 http://m.39.net/pf/bdfyy/bdfal/

需求

爬取指定商家的商家名称、均价、地址信息、评论信息,包含用户名、评论、评论时间。

将数据导出为CSV同时保存到数据库中

实现思路

通过对美团网页进行分析,商家信息返回的是html,所以需要使用etree来进行解析,然后提取里面的内容。由于网页结构可能会变化,可能下面的代码并不一定可以适用。

获取指定评论的数据,下面的方法只是获取第一页的评论,如果需要获取全部,修改下请求的参数即可。

到这里,上面的代码已经完成了商家信息和评论的爬取,我们只需要调用上面的方法就能够实现爬取内容了。

爬取完成后,将数据导出成csv,这里使用到了pandas

同时,将内容保存到数据库中。




转载请注明:http://www.aierlanlan.com/grrz/4605.html