6 16123

微博评论下的回复爬取

sitar_r 于 2020-3-14 12:46 发表 [复制链接]
想抓取这条微博下所有评论里面的回复,但我运行起来都是采集失败,不知道问题在哪儿。求大神解答
https://weibo.com/3228016330/HnU ... t#_rnd1584160116734

com_微博评论回复,定义了第一级规则,连续动作点击Xpath偏好class定位,指向第二级规则com_回复
//*[@class='WB_text']/a[contains(text(), '共') and contains(text(), '条回复')]


第二级规则设置抓用户名和回复,采用样例复制
连续点击动作,指向自己,Xpath定位
//*[@class='WB_text']/a[contains(text(), '更多') and contains(text(), '条回复')]


点定位,偏好class,搜索输入//*[@class='list_ul']







举报 使用道具
| 回复

共 6 个关于本帖的回复 最后回复于 2022-5-28 16:42

wangyong 版主 发表于 2021-8-17 11:31:27 | 显示全部楼层
本帖最后由 wangyong 于 2021-8-17 11:47 编辑

集搜客数据管家快捷采集可以直接采集微博评论和回复数据
操作步骤如下:
1,安装集搜客数据管家,从左侧工具条进入快捷采集
数据管家-评论和回复.png
选择微博评论和回复数据采集,输入要采集的博文网址,例如:https://weibo.com/1749127163/KtG ... t#_rnd1629171626535,选择要采集的页数,点击“获取数据”启动采集任务添加成功后数据管家会自动启动采集。
2,在快捷采集管理中看到任务状态变为“已采集”后,点击打包按钮就可以下载Excel格式的数据了
评论和回复-快采.png
3,数据展示:
平和回复Excel.png

举报 使用道具
Fuller 管理员 发表于 2020-3-14 13:18:08 | 显示全部楼层
可以直接使用快捷采集工具: https://www.gooseeker.com/res/da ... D%E9%87%87%E9%9B%86
举报 使用道具
robingson 金牌会员 发表于 2022-1-25 22:26:06 | 显示全部楼层
wangyong 发表于 2021-8-17 11:31
在集搜客数据管家的快捷采集可以直接采集微博评论和回复数据
操作步骤如下:
1,安装集搜客数据管家,从左 ...

单个评论的回复采集不到吗?
举报 使用道具
Fuller 管理员 发表于 2022-1-25 23:33:36 | 显示全部楼层
robingson 发表于 2022-1-25 22:26
单个评论的回复采集不到吗?

用这个快捷采集工具可以采集:https://www.gooseeker.com/res/rule_642.html

如果你没有采集成功,把网址发出来,我测试一下
举报 使用道具
amaz_4 新手上路 发表于 2022-5-28 13:45:03 | 显示全部楼层
Fuller 发表于 2020-3-14 13:18
可以直接使用快捷采集工具: https://www.gooseeker.com/res/datadiy.html?category=%E7%A4%BE%E4%BA%A4&we ...

用这个爬是不是只能爬一级评论?如果要爬二级评论要怎么做呢?
举报 使用道具
Fuller 管理员 发表于 2022-5-28 16:42:07 | 显示全部楼层
amaz_4 发表于 2022-5-28 13:45
用这个爬是不是只能爬一级评论?如果要爬二级评论要怎么做呢?

这个工具应该可以爬到评论下的所有回复,但是运行不太稳定。1. 首先在爬之前必须在爬虫浏览器中登录微博
2. 爬虫窗口要足够大,放大到最大
3. 网络要比较快
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 00:35