Scaling Law是悲观未来：田渊栋离开Meta后的深度反思
本报告由 AI 深度分析生成，基于视频完整字幕。
导读
2025年10月，Meta向其AI部门约600名员工挥出解雇通知，前FAIR（基础AI研究）研究总监田渊栋是其中最具知名度的一位。这期硅谷101对话并不只是一篇"裁员故事"——它更像是一位在行业内工作了十年以上的顶级AI科学家，在最诚实的时刻说出来的内心独白。
田渊栋在采访中触及了几个行业级别的核心问题：LLM路线究竟是不是正确答案？Scaling Law为何是一个悲观的未来？强化学习的真正价值在哪？ 以及对于那些正在考虑AI职业路径的人：到底应该追逐市场热点，还是追随自己的兴趣？
这期视频的信息密度极高，建议完整观看。本报告覆盖所有核心观点并加以延伸。
人物背景：田渊栋是谁
田渊栋（Yuandong Tian）是华人AI科学家，在Meta/Facebook FAIR工作超过10年，主要研究方向包括强化学习、游戏AI、推理与思维链。
他在FAIR期间的代表工作包括：
- 用强化学习训练围棋AI（早期阶段）
- 提出"Coconut"（连续思维链）框架，主张在连续潜在空间而非离散Token空间中进行推理，该论文在六个月内获得超过200次引用
- 提出"Dualformer"，探索长思维链与短思维链混合训练，后来成为所有思维模型的标准配置
- 在O1发布之前，就已发现长思维链能显著改善模型的数据效率（用1/10的样本和参数，获得同等效果）
在被裁前，他已被Meta调往GenAI团队协助处理Llama 4的紧急任务，参与"救火"工作。
被裁始末：一次被加速的个人选择
田渊栋在被裁前，其实早已有了离开的念头。
他告诉主持人陈茜："被裁之前我已经拿到offer了。" 他在被裁前就向上级坦言自己"不是很开心，可能想出去看看"，对方知情。因此，裁员对他并不构成意外，他的原话是："否则我不会在找工作。"
他原本的打算是再多留几个月——因为Meta还有GPU算力资源可以用来做研究。但既然被裁了，那就离开。
对于600人的裁员规模，他的判断不是针对Meta，而是整个行业的系统性信号：
"一般性趋势是，AI本身的自动化程度是最高的。以前需要很多人标注数据，明天模型更强了，不需要那么多人标注，后天模型更强了，又需要更少。"
他认为，未来真正减少的不是AI从业者，而是AI行业中的"执行层"——那些做重复性任务、维护流水线的人。相反，做探索性研究的人会增加，做应用开发的人也会增加，只是做纯执行的人会越来越少。
行业趋势：AI在自动化AI本身
这是整个采访最核心的判断之一，也是理解这次裁员背后深层逻辑的关键。
田渊栋描述了一个正在发生的循环：AI系统越来越强 → 曾经需要人工处理的任务被自动化 → 需要的人员减少 → AI系统进一步被用来训练更强的AI。
过去的情形：训练运行到一半崩了，需要人工on-call接电话、调参数、尝试恢复。现在，大量自动化工具让这类工作变得罕见。
未来的预测：以前需要几百人、几千人才能完成的工程任务，可能十几个人配合Agent就能搞定。
他特别强调，这不仅仅是Meta的问题：
"总体趋势是，终有一天大家都失业了。不是说被某个公司雇用了，帮那个公司做事。也许未来不是这样的——以这些工具为基础，我意识到我不需要那么多人来做很多事情了。"
开源与闭源：不是好坏，而是目的
关于开源AI在当前格局下是否还能持续，田渊栋的答案超出了简单的"能/不能"框架。
他认为：开源还是闭源，取决于模型的用途，而不是哪个路线天然更优。
- 如果目标是打造平台、让所有人在上面构建生态——开源极为合理
- 如果目标是个性化搜索、推荐等需要私有数据的场景——就没必要开源
他的预测：在顶尖的SOTA（前沿）模型竞争中，开源确实难以与闭源抗衡；但在垂直领域和小模型中，开源机会极多。他举例提到：中国公司做了大量开源工作，OpenAI也发布了GPT-OSS，Ai2持续做开源。
"开源肯定会继续。更大的问题是：这些模型到底用来做什么？"
LLM的根本问题：与人类相差千倍的效率
这是田渊栋最有独到见解的部分，也是他坦言"不确定LLM是否正确路线"的核心依据。
他算过一笔账：
- 人类一生能接触到的文字token，最多约100亿（10^10）
- LLM的训练数据，轻松达到10万亿至30万亿（10^13 - 10^14）
- 差距：1000倍
然而，就算喂进去1000倍的数据，大型模型在某些领域依然无法比肩领域专家——比如产生真正有洞见的科学发现，或者对一个陌生问题仅凭一两个样本就抓住本质。
问题的核心是：人类的学习不只靠数据量，还依赖某种目前无法被量化、传递给计算机的内在经验。专家脑子里的"感觉"和"直觉"，不是几句话能说清楚的，也就无法转化为模型的训练样本。
田渊栋进一步质疑了梯度下降（gradient descent） 本身：
"梯度下降也许不是一个特别好的方案。也许某天我们不再用梯度下降了，会有其他方法。也许我们整个训练框架都需要改变。"
这不是说LLM没价值——他认为即使模型能力现在停滞不前，对各个行业的影响依然巨大。但作为一个科学家，他认为应该去寻找更高效的学习方式，而不是满足于Scaling Law。
强化学习：主动学习才是核心价值
Andrej Karpathy在一次播客中对强化学习表达了相对负面的看法，田渊栋不完全认同。
他给出了一个简洁的分析框架：
RL（强化学习）vs SFT（监督微调）的本质区别不在于算法，而在于数据质量。
- SFT：被动学习，相当于"听老师讲课"——模型背下来的是别人给出的推理轨迹，泛化能力有限，大量SFT甚至会降低模型质量
- RL：主动学习，相当于"自己解题"——模型在搜索过程中探索，生成的数据质量更高，分布更优
"RL最大的优势是主动学习，它能对数据的分布产生非常积极的影响。这才是核心。不是它的目标函数或训练算法有什么不同。"
他的结论：RL之所以在推理任务上优于SFT，原因是它产生了更高质量的训练数据，而不是因为它的"算法更神秘"。本质上，RL和SFT都是为了改变模型权重，只是数据获取方式不同。
Scaling Law为何是悲观未来
这是田渊栋最鲜明的观点之一，也是他曾在多个场合反复提及的核心论断。
Scaling Law的逻辑是：指数级增加数据量和算力 → 性能线性提升。他认为，以前的机器学习科学家看到这个"定律"会觉得理所当然、甚至略显平庸——"加更多数据当然会好一点"。
问题在于这条路走到尽头是什么？
"如果按照这个Scaling Law，终有一天地球的所有资源都会被耗尽，地球所有的能源和电力都用来训练大模型。到那个时候，我们还能靠这个能力来改变世界吗？"
他明确表示，自己认为应该找到更高效的方式来培育智能，而不是单纯堆规模。他不是否认LLM的价值，而是呼吁科学界去寻找真正的突破，而不满足于"只要我堆够多数据就会继续变好"这个框架。
他认为，这种转变一定会发生，只是时间问题：
"到某个时刻，人们会意识到算力不是一切，我们可能需要对模型有更深的理解。这个改变会逐渐发生。"
类比他引用的自动驾驶：早期进步飞快，人人以为即将取代人类司机；但越往后走，问题越复杂，因为好的数据和好的洞见越来越稀缺。LLM的处境高度相似。
连续思维链：O1之前的先驱研究
在被调去"救火"Llama 4之前，田渊栋在FAIR专注的研究方向之一，是思维链的形式与训练方法。
他的团队在O1发布前就已发现一个重要规律：长思维链可以显著改善模型的数据扩展规律。具体来说：
- 没有长思维链时，模型需要大量样本才能取得好结果，Scaling Law曲线不理想
- 引入长思维链后，用1/10的样本、1/10的参数，就能达到同等效果
这一发现催生了两篇有影响力的论文：
- Coconut（连续思维链） ：提出在连续潜在空间（而非Token序列）中进行推理，六个月内获得超过200次引用，后续有许多工作跟进
- Dualformer：最早探索如何将长思维链（慢思考）和短思维链（快思考）混合训练，研究发现混合训练优于单纯的长或短——这一思路现在已成为各大思维模型的标准做法
他还分享了一个细节：最近的一篇论文，是他与GPT-5"自对弈"完成的——没有学生，每天和GPT-5讨论问题，让它提方案，然后他用领域知识指出方案的致命问题，再让它深入。
"没有领域知识，GPT-5给出的方案和别人都差不多——缺乏创新和原创性。但作为研究者，如果你知道这个方案的想法或思维方式有致命的问题，就可以让GPT-5深入进去，最终产出更好的结果。"
FAIR十年回顾：遗憾工程做得太少
田渊栋在FAIR的经历分为两个阶段：
- 2015-2018年：大量做工程。当时被人批评"别人的屏幕全是论文，你的屏幕全是代码"，他接受了批评，逐渐向学术研究倾斜
- 2018年至今：主要做研究，"研究品味"（research taste）在这一时期大幅提升
他坦言的遗憾是：应该在FAIR多做一些工程工作，把工程做得更好。
在AI快速发展的今天，纯工程能力和纯研究能力都不是最优解——工程+研究的组合才是理想，但这极为罕见。
他对"研究品味"的解释很有启发性：
"研究品味是对研究的鉴赏力，以及对研究方法的理解。它可以让你为自己设定一条路，然后持续向前走。这对人生极其有益——一个只做工程的人的问题是：他可能只会解决眼前的困难工程问题，但不知道这些东西的意义。"
他的最大收获，正是这种能判断"什么值得研究、什么研究是真正重要的"的能力。
AI人才战：不要追逐稀缺性
面对"现在最稀缺的AI人才是什么"这个问题，田渊栋给出了一个反直觉的答案：
"不要去想谁最稀缺。稀缺的定义过几年就会变。"
他举了Yann LeCun的例子：LeCun在神经网络被冷落的那些年里，坐了多年的冷板凳，但后来获得了图灵奖——因为他研究的是自己相信的方向，而不是市场信号指引的方向。
他对AI时代人才培养逻辑的核心判断是：
过去可以靠市场信号指引学习方向——因为行业周期是10-20年，信号传到大学、大学扩招、学生毕业时，市场需求还在。
现在这个模式失效了——AI行业周期是几个月。你想学某个热门技术，全世界都在学，你学完了，市场已经换方向了。
"当你开始学市场上流行的东西时，全世界的人都想到了这件事。总有人比你学得快、学得好，能立刻上手。你学了半年一年，发现还是比不过别人。而且市场可能又变了，这个技能不再是最重要的。如果你那时候再开始学，你永远在追别人的尾巴。"
他的建议：做你真正想做的事，而不是市场叫你做的事。在这个变化极快的时代，真正的兴趣驱动往往比市场嗅觉更能带来长期优势。
当然，他也承认这是理想化的状态——现实中需要结合兴趣和对未来的判断。
理想主义科学家的下一站
采访结尾，陈茜直接问：你打算去哪？
田渊栋的答案坦率：还不知道。距裁员不到一周，各类机会都在接触——大公司、小公司、联合创业。但他有一个清晰的方向框架：
不是要在"做研究"和"做应用"之间选一个，而是要找到能把两者结合的机会。
他认为，自己的研究范式有一部分已经开始被自动化流水线替代。如果能做**"前沿研究 + 自动化"**的结合体，那将是最理想的状态。
他还谈到了"理想主义研究"的未来形态：
"研究还会继续，只是它的形式可能会变成游击战。不是某个很有名的研究院说'我们把所有时间和精力都用来做研究'——可能不是这样。但你总会找到很多有理想的人和小组织，继续做他们想做的事。"
对于下一步，他的方法论是：先设定一个"不可能的目标"，再想什么能支撑它。
"大多数人比较现实，觉得没有这样的机会就不需要想了。我认为应该反过来：先想一个不可能的目标，再看什么能支撑它。这样可能给自己一个更好的方向。"
金句
"被裁并不意外，否则我不会在找工作。" 田渊栋谈他对这次裁员的预感。
"Scaling Law是一个悲观的未来——因为指数级投入，只换来线性的进步。终有一天地球所有的能源都用来训练大模型。" 田渊栋对当前AI主流路线的核心质疑。
"LLM最大的问题是需要海量数据。人类一生的文字token约100亿，LLM训练数据轻松达到10-30万亿——相差1000倍。但人类依然能产生LLM产生不了的洞见。" 数据量不等于智能，效率鸿沟才是核心问题。
"RL最大的优势是主动学习，能对数据的分布产生积极影响。这是核心，而不是它的目标函数或训练算法有什么神秘之处。" 为强化学习正名。
"不要想谁最稀缺。稀缺的定义过几年就会变。Yann LeCun坐了多年冷板凳，然后获得了图灵奖。" 对AI人才战中追逐热点行为的直接反驳。
"先想一个不可能的目标，再想什么能支撑它。大多数人太现实，觉得没有这样的机会就不用想了。我认为应该反过来。" 田渊栋的人生方法论。
时间线索引
| 时间点 | 内容 |
|---|---|
| 00:00 | 开场：关键采访片段精华 |
| 00:48 | 硅谷101引言：Meta裁员600人背景 |
| 02:33 | 正式采访开始 |
| 02:33 | 被裁不意外：早有offer，裁员加速个人选择 |
| 07:51 | 行业趋势：AI自动化执行层，未来需要更少人 |
| 09:00 | FAIR被调去帮Llama 4救火 |
| 10:02 | 开源与闭源：不是好坏，而是用途决定策略 |
| 13:31 | LLM最大问题：数据效率比人类差1000倍 |
| 15:56 | 质疑梯度下降：也许未来会有更好的训练框架 |
| 16:17 | 强化学习：主动学习的核心优势分析 |
| 19:04 | 用GPT-5写论文的亲身经历：人类洞见仍不可替代 |
| 22:09 | Scaling Law为何是悲观未来 |
| 24:57 | 即使LLM进步停滞，对行业影响依然巨大 |
| 26:38 | FAIR时期研究：连续思维链、O1前的先驱工作 |
| 27:49 | Coconut论文（连续潜在空间推理）：6个月200+引用 |
| 28:07 | Dualformer：长短思维链混合训练，已成行业标配 |
| 28:34 | FAIR十年回顾：遗憾工程做得太少 |
| 31:14 | AI人才战：不要追逐稀缺性，做自己真正想做的 |
| 34:28 | 理想主义科学家在哪里：游击战形式的研究 |
| 38:34 | 最后一问：下一步去哪？先想不可能的目标 |
评论
还没有评论，来第一个留言吧 ✨