球探网的数据来源都来自哪里?怎样完成这么庞大的数据收集的?

admin 意甲 2024-02-22 113 0

  有专门的数据提供商来提供接口,数据也按功能进行明码标价

  其实大家都高估了球探网。它家的数据,在我看来:

  比如每场球,球探网显示和收集20家xx网站的详细数据。给我20台配置很差的电脑,分别负责全自动抓一个xx网站。

  20个网站的网页结构不同,python爬虫代码得分别编写,虽然麻烦但这是一次性投入。除非网站界面大改版,代码需要重写,否则后期人工成本几乎为零。

  只要确保不死机,不停电,不断网,就能一直全自动运行到天荒地老。之后再给我一台够给力的电脑当数据库,统一存放抓下来的数据即可。算上电费网费,这才多少成本?

  1、3台电脑都是N年前的淘汰货,分别从3个xx网站抓价格变化。7*24不间断。

  2、每抓一波的耗时,从几秒到几十秒不等。电脑越好耗时越少,比赛越多(例如周末)耗时越长。

  3、一波抓完统一间隔10秒再开始抓下一波。其实这一步完全没必要,省去这步可以抓的更准。我仅仅是不想太折磨我的老爷机。

  然后和球探网抓下来的数据抽样对比了几百场。发现,有时候某场球的某次价格变化它逮到了而我没有,有时候反过来。

  我随便抓抓都比球探网要准,它好意思说自己的数据是买的?是财务部门傻?还是程序员吃干饭?

  尤其是当一场球刚开盘的时候,如果有一波剧烈价格变化,我能逮到而球探网经常逮不到。反观临开赛收盘时候若有剧烈价格变化,球探网基本不会遗漏(我也不会)。

  由此我感觉它家的抓取代码写的压根就有问题,不完善,并且也不想改进,不负责任。

  至于其他的七七八八的数据,诸如历史战绩啊、各种走势啊、历年积分榜什么的,凑一块儿看似庞大。其实它们都是衍生物而已,不用特地抓取它们。

  只要知道每场球几分钟进球、几分钟角球、半场比分、最终比分、价格变化,剩下的几乎全能衍生统计出来。

  综上所述,如果它家的数据是从“某专业数据提供商”处买的:

  黑了一大波,替它说句好话吧:

  1、如果由于种种原因没条件即时从xx网站上抓,则球探网其实是一个合格的替代品。事后从球探网抓,个人认为至少能达到95%的效果。

  2、直接从xx网站抓的时候如果电脑SB了,导致某一时间段数据缺失,需要事后补救。则球探网是我的不二选择。

  有没有觉得球吧里的推荐很贵?找我就找对人了!哈哈

球探网的数据来源都来自哪里?怎样完成这么庞大的数据收集的?

球探网的数据来源都来自哪里?怎样完成这么庞大的数据收集的?

评论