需求
爬取指定商家的商家名称、均价、地址信息、评论信息,包含用户名、评论、评论时间。
将数据导出为CSV同时保存到数据库中
实现思路
通过对美团网页进行分析,商家信息返回的是html,所以需要使用etree来进行解析,然后提取里面的内容。由于网页结构可能会变化,可能下面的代码并不一定可以适用。
获取指定评论的数据,下面的方法只是获取第一页的评论,如果需要获取全部,修改下请求的参数即可。
到这里,上面的代码已经完成了商家信息和评论的爬取,我们只需要调用上面的方法就能够实现爬取内容了。
爬取完成后,将数据导出成csv,这里使用到了pandas
同时,将内容保存到数据库中。