DeepMind研究员爆料OpenAI论文bugDeepMind研究员深夜爆料OpenAI的Scaling Law原始论文竟存在致命bug全球AI白白烧掉万亿算力GPT - 3其实严重「虚胖」。过去五年整个AI行业都被Scaling Law推着往前冲奥特曼坚信AGI的底气就来自这条曲线。Diogo Almeida质疑曲线正确性如今当年就在OpenAI做大模型优化的研究员Diogo Almeida站出来表示这条曲线从一开始就错了。他刚发出一篇标题冷得发指的博客——《Scaling Laws, Honestly》开头便直接表明最初那版scaling law是错的因为存在一个bug。传送门https://www.completeskeptic.com/p/scaling-laws-honestlySander Dieleman推特发声DeepMind那位以扩散模型封神的Sander Dieleman转头就在推特上把它顶上去称这是一段有意思的LLM往事原始scaling law因一个bug而错误大概率害得业界在一堆「体量过大、训练不足」的模型上白白烧掉了海量算力一个bug就浪费了两年。Scaling Law成LLM版「地心说」当bug被撕开我们看到的不仅是算力的黑洞更是一条被语言本身重塑的、远比想象中更深刻的智能边界。Scaling Law竟成了LLM版「地心说」。OpenAI与DeepMind结论对比2020年OpenAI给出结论在固定的算力预算下应优先把模型做大而非拿更多数据去喂它。用公式表示最优参数量正比于算力的0.73次方参数是更该猛冲的变量。这直接定义了GPT - 3那一代的模样就是疯狂堆参数达到了1750亿。它告诉全世界的开发者只要把模型做得足够大神迹就会发生。两年后DeepMind推出Chinchilla彻底颠覆了这个结论模型和数据应差不多同等重要地一起放大大约每个参数配20个token才划算。他们训了一个700亿参数的Chinchilla喂了1.4万亿token体量不到GPT - 3的一半数据却是它的四倍多。结果同样的算力预算下全面反超2800亿参数、却只喂了3000亿token的Gopher。这就好比同样一笔钱一个把它养成了虚胖的壮汉一个把它练成了精瘦的拳手。翁荔探讨差异原因北大校友翁荔拖更三年深入探讨了后续研究中对两者差异的主流解释即差异在于他们计算参数总数的方式。Chinchilla也存在bug然而就连「正确」的Chinchilla也不干净。2024年Besiroglu等人把Chinchilla原文的数据点扒出来重跑发现它自己那套拟合里也藏着bug优化器里的loss尺度设得过高把Huber损失按样本求了平均、而不是求和导致拟合过早终止。纠正bug的论文自己却带着另一个bug。Scaling Law并非铁律至此那句被无数人挂在嘴边的「第一性原理」忽然有点站不住脚了。所谓Scaling Law从来就不是牛顿三定律那种铁打的物理规律它只是一条经验拟合出来的曲线。Diogo Almeida认为不是方法不一样「是最初那版scaling law本身有个bug」。OpenAI三招误导同行OpenAI三招骗了全球AI同行要制造一个让全球AI集体相信的谎言只需三步。第一步囚禁数据。OpenAI论文给所有模型不管是小模型还是大模型都喂了完全相同的「饭量」大约130B tokens数据。小模型因此被「喂饱」甚至「撑到」而真正需要海量数据来填满其容量的大模型却在同一token预算下严重营养不良。Chinchilla论文后来一针见血地指出他们对所有模型使用了「固定的训练Token数和学习率调度方案」。这就像让幼儿园小朋友和博士生用同一张试卷、同一时间考试然后宣称「成绩只与天赋有关」。第二步掩耳盗铃的LR衰减。他们使用了余弦学习率衰减让学习率在训练接近终点时平滑地趋近于零。训练快到预设的终点时学习率被人为地一点点摁到零模型的进步自然就「平」下来了。曲线一走平看上去就像这模型已经学到头了再喂也没用了。研究者们于是得出结论「加数据没用了模型已经饱和」。但实际上那些大模型根本没到头这是学习率把模型的成长之路人为掐断制造出性能已达天花板、再加数据也无用的假象。第三步权威的傲慢。论文里写了一句结果「基本不受学习率曲线影响」。虽然包括当时在OpenAI的Diogo Almeida等不少人都隐约感觉到不对劲但在固定token上限下这个结论技术上正确。可它偏偏不适用于scaling law真正想描述的那个「数据无限」的理想世界。他们把有限条件下的局部真理当成了普适的宇宙法则。三步叠在一起就得到了一条既错、又极难debug的定律。连Diogo自己都承认当年他也在OpenAI做优化也没看出这个bug那条学习率曲线看着太像是「精心设定」的了谁会去怀疑呢。GPU浪费与算力错配GPU被白白浪费算力错配严重。受OpenAI错误公式的指引AI行业进入了「大力出奇迹」的时代。这意味着过去几年里全球最聪明的头脑、最稀缺的算力都浪费在了无效的规模扩张上。这不仅仅是钱的问题这是在通往AGI通用人工智能的生死时速中人类因学习率设置集体在错误的跑道上狂奔了数千公里。Scaling Law的局限如果说Bug的发现让人心痛那么随后引出的深度反思则让人不寒而栗。研究者Adam Zachary Wasserman指出了一个被所有人忽略的盲点即便公式修正了目前的Scaling Law也只是「英语Scaling Law」。他做了一个反直觉的实验用同样的架构、同样的算力训练模型。结果发现法语模型达到某种语法能力的效率竟然比英语模型高出50到100倍。原因是英语是一种「形态贫乏」的语言太依赖分布规律需要模型在海量数据中去猜词义而像法语、中文这种形态丰富或结构严密的语言在词汇本身就带有大量明确信息。这意味着我们现在所有的算力配比方案都是基于一种最「吃数据」、最低效的语言制定的。当你以为你在探索「通用智能」的物理定律时你其实只是在测量「英语这门语言有多浪费算力」。这就像是试图通过研究一头猪的胃口来制定全宇宙生物的营养标准不仅是偏见更是认知的局限。我们本可以用更小的模型、更多的优质数据实现更强的性能本可以节省下数以万计的H100运行时的电力和热量本可以提前两年进入「高效AI」时代。