请问为什么选择了爬取全部内容,始终无法全部采集
1678964865060.png
采集了好几次都会在某一个地方中断,我大约想采集3个月左右的数据,但是采集从今天开始采到3.9号就中断了
请问一下原因是什么啊,如何解决?
1678964950151.png

举报 使用道具
| 回复

共 2 个关于本帖的回复 最后回复于 2023-3-16 20:59

Fuller 管理员 发表于 2023-3-16 20:59:25 | 显示全部楼层
超话的网页很长,采集的时候对网络和计算机的要求比较高,所以采集的时候,最好不要让计算机忙别的事情。
如果断了,先把已经采集的数据打包下载。在数据表中,有一列数据是realpath字段,把最后一个realpath拷贝出来,粘贴到超话快捷工具,就可以从断掉的地方继续采集。

超话最后一行realpath.png

举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-4-19 01:53