我用抖音关键词搜索了好几次,不同关键词,出来的结果都是400多条,不知道是什么缘故导致的?
举报 使用道具
| 回复

共 8 个关于本帖的回复 最后回复于 2022-12-8 23:28

Fuller 管理员 发表于 2022-12-2 11:33:41 | 显示全部楼层
首先,一定要把窗口放大到最大;其次,网络一定要足够快;如果运行了360,网络速度会大大变慢。原因如下:

抖音网站都是瀑布流网页,鼠标往下滚动,才会加载新内容。爬虫运行的时候,设定了一个条件,如果连续N次滚屏都没有看到新内容,就中断运行了,会显示一条告警日志:重复内容中断。

如果屏幕很小,那么滚屏好几次都触发不了加载新内容,就特别容易发生重复内容中断。如果网络不好,也是同样的道理
举报 使用道具
Fuller 管理员 发表于 2022-12-2 11:35:10 | 显示全部楼层
瀑布流网页一般很难采集大量数据,越往下滚动,网页越长,占用的内存越大,电脑就变得越来越慢,很快就处理不动了
举报 使用道具
Fuller 管理员 发表于 2022-12-2 12:04:44 | 显示全部楼层
我刚才测试了“广州”这个关键词,采集不到多少,364条,网页上就显示:暂时没有更多了。应该是抖音网站做了限制。需要精选一下关键词,用多个关键词覆盖到尽量多的内容
举报 使用道具
sshangren 初级会员 发表于 2022-12-2 12:18:58 | 显示全部楼层
是抖音限制的原因吗?郁闷,其实下拉内容肯定很多的,不知道为什么不能抓到,而且抓到的内容时间也基本在这两年内。
举报 使用道具
sshangren 初级会员 发表于 2022-12-2 12:21:51 | 显示全部楼层
是抖音网站限制的原因吗?覆盖内容的话下拉应该是有更多的,不知道怎么就不抓了,而且都是近两年的内容。
举报 使用道具
Fuller 管理员 发表于 2022-12-2 15:28:13 | 显示全部楼层
sshangren 发表于 2022-12-2 12:21
是抖音网站限制的原因吗?覆盖内容的话下拉应该是有更多的,不知道怎么就不抓了,而且都是近两年的内容。 ...

瀑布流网页都是这样,最近微博也改成这样了,以前都有翻页页码,能采集很多数据,没有翻页页码,鼠标往下拉几次就不显示新内容了。可能是特意限制采集数据
举报 使用道具
sshangren 初级会员 发表于 2022-12-8 22:43:25 | 显示全部楼层
Fuller 发表于 2022-12-2 15:28
瀑布流网页都是这样,最近微博也改成这样了,以前都有翻页页码,能采集很多数据,没有翻页页码,鼠标往下 ...

这个问题有解决办法吗?还是抖音就爬不了了?
举报 使用道具
gz51837844 管理员 发表于 2022-12-8 23:28:10 | 显示全部楼层
sshangren 发表于 2022-12-8 22:43
这个问题有解决办法吗?还是抖音就爬不了了?

抖音可以爬,对于瀑布流网页,要爬取更多的数据,需要网速好和电脑运行时不卡顿。
对于抖音关键词搜索结果页面,往下滚屏达到一定的次数后,就不再显示新的数据了,这是网站的限制。
举报 使用道具
您需要登录后才可以回帖 登录 | 立即注册

精彩推荐

  • Gephi社会网络分析-马蜂窝游记文本分词并同
  • Gephi社会网络分析-基于马蜂窝游记文本以词
  • 知乎话题文本根据词语间距筛选后生成共词矩
  • 马蜂窝游记文本分词后以词语间距为筛选条件
  • 学习使用apriori算法挖掘关联关系

热门用户

GMT+8, 2024-3-29 05:16