。

主要就是采集评论区的数据#xff0c;包括评论、评论者ip、评论id、评论者等一些信息。

然后有很多的小伙伴对这个代码很感兴趣。

TaoTao也都给代码开源了。

由于比较匆忙#xff0c;所以没来得及去讲这…前言

TaoTao之前在前几期推文中发布了一个篇weibo评论的爬虫。

主要就是采集评论区的数据包括评论、评论者ip、评论id、评论者等一些信息。

然后有很多的小伙伴对这个代码很感兴趣。

TaoTao也都给代码开源了。

由于比较匆忙所以没来得及去讲这个代码。

今天刚好使用这个代码去爬取了一些数据刚好借着这个机会给大伙讲讲代码思路。

思路讲解

其实这个代码比较简单其实就是通过使用request这个python的库向目标url发送对应的请求然后服务器在相应了请求以后然后再给数据返回回来。

然后我们再对对应的数据进行解析就可以了。

大体上如下图所示

模拟各种浏览器一种反反爬手段这些库都是需要使用的所以需要提前安装安装方法可以使用pip

进行安装如果直接安装不上的话可以使用清华镜像站进行安装安装方法如下

pip

https://pypi.tuna.tsinghua.edu.cn/simple然后就是登录weibo账号然后找到对应的文章点进去可以看到hotflow这个其实就是评论的数据。

我们点击它然后就可以看到对应的cookie值了然后复制它

设置好cookie之后就是需要给这个创建request请求了。

我们还是回到之前的打开文章的界面复制url链接就可以了。

其实现在就可以获取到数据了但是我们可以看一下hotflow哪些是我们需要的数据。

可以看到我们需要的是like_count、source、text等这些数据

所以我们就需要写下面的代码对数据进行解析至于为什么要写一个for循环就是为了迭代多条数据。

然后就是数据进行持久化了持久化这里我这里使用的是csv代码如下

爬取数据

然后就可以爬取数据了这里可以在pycharm或者cmd中执行都是可以的。

我比较喜欢在cmd中执行代码具体就是在cmd中使用python

youcodeName.py就可以了。

比较省事的方式其实就是使用pycharm直接run

拿到了数据其实我们还可以对数据进行可视化这样方便观察数据的规律

其实我们可以看到有重复数据。

我看了一下评论区其实是有人多刷的就是说一个账号刷了多条同样的评论。

我理解这些人可能是水军。

源码获取关注“python小胡说”回复“微博评论”既可获取源码

由于TaoTao能力有限在一些问题表述上难免有不准确的地方还请多多包涵