想爬取微博评论和点赞,就是用集搜客自带的规则,但是爬取失败,爬到一半就显示已停止,有无大佬解答一下呀~
举报 使用道具
| 回复

共 9 个关于本帖的回复 最后回复于 2022-11-9 15:04

沙发
gz51837844 管理员 发表于 2022-11-7 19:11:04 | 只看该作者
你是使用的这个微博评论和转发采集工具
这个工具添加的是每个博文的网址,你看看你添加的是不是:


或者你把失败的网址发出来,我们测试下
举报 使用道具
板凳
13065237598 初级会员 发表于 2022-11-8 16:26:37 | 只看该作者
gz51837844 发表于 2022-11-7 19:11
你是使用的这个微博评论和转发采集工具?
这个工具添加的是每个博文的网址,你看看你添加的是不是:

https://weibo.com/1642512402/Mdv ... eed&type=repost
您好,我确实爬取的是微博文章的独立网址,请问如何测试?
举报 使用道具
地板
gz51837844 管理员 发表于 2022-11-8 17:58:46 | 只看该作者
13065237598 发表于 2022-11-8 16:26
https://weibo.com/1642512402/MdvSXcsyV?pagetype=profilefeed&type=repost
您好,我确实爬取的是微博文 ...

我们会安排技术人员做测试。如果你这条网址的微博评论转发页面是一种全新的结构,我们会做配置升级。升级完成后会跟帖通知你。


举报 使用道具
5#
13065237598 初级会员 发表于 2022-11-8 19:12:38 | 只看该作者
gz51837844 发表于 2022-11-8 17:58
我们会安排技术人员做测试。如果你这条网址的微博评论转发页面是一种全新的结构,我们会做配置升级。升级 ...

好的,谢谢 我不仅仅是这个规则抓取失败,其他功能也都失败了。微博博主主页内容这条规则我之前爬过,是可以的,但是后来也不行了
举报 使用道具
6#
gz51837844 管理员 发表于 2022-11-8 19:21:51 | 只看该作者
13065237598 发表于 2022-11-8 19:12
好的,谢谢我不仅仅是这个规则抓取失败,其他功能也都失败了。微博博主主页内容这条规则我之前爬过,是可 ...

博主主页内容如果有失败的,可以把网址发出来我们测试下
举报 使用道具
7#
gz51837844 管理员 发表于 2022-11-8 19:56:40 | 只看该作者
13065237598 发表于 2022-11-8 16:26
https://weibo.com/1642512402/MdvSXcsyV?pagetype=profilefeed&type=repost
您好,我确实爬取的是微博文 ...

微博评论转发工具已经更新了,你之前采集失败的那条网址,我测试采集成功了,你可以试试:https://weibo.com/1642512402/Mdv ... 6&mod=weibotime
举报 使用道具
8#
13065237598 初级会员 发表于 2022-11-9 09:12:18 | 只看该作者
gz51837844 发表于 2022-11-8 19:56
微博评论转发工具已经更新了,你之前采集失败的那条网址,我测试采集成功了,你可以试试:https://weibo. ...



您好,我还是采集不下来,日志显示是这个错误,您知道怎么解决吗


举报 使用道具
9#
gz51837844 管理员 发表于 2022-11-9 09:35:30 | 只看该作者
13065237598 发表于 2022-11-9 09:12
您好,我还是采集不下来,日志显示是这个错误,您知道怎么解决吗

我刚才又测试了一下,你那条网址,转发和评论采集都是正常的:


建议你做如下检查:
1. 采集前在数据管家浏览器上是否登录了微博
2. 微博工具箱是按旧版微博配置的,你检查下微博的个人设置里,是否设置的是“旧版微博界面”。我的账号配置是旧版微博,如下图会看到一个“回到新版”

举报 使用道具
10#
13065237598 初级会员 发表于 2022-11-9 15:04:26 | 只看该作者
gz51837844 发表于 2022-11-9 09:35
我刚才又测试了一下,你那条网址,转发和评论采集都是正常的:

哦哦!我知道啦,我现在去试试,谢谢!
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-24 23:57