AI 前沿

我们正在发明最后一个发明：AI 安全专家的末日预言与清醒时刻

The AI Safety Expert: These Are The Only 5 Jobs That Will Remain In 2030! - Dr. Roman Yampolskiy

来源The Diary Of A CEO × Dr. Roman Yampolskiy（AI 安全领域先驱，路易斯维尔大学计算机科学教授，"AI safety"一词的发明者）视频时长约 88 分钟报告字数4,524字阅读时间10min原始链接https://www.youtube.com/watch?v=UclrVWafRAI

本报告由 AI 深度分析生成，基于视频完整字幕。

📺 原视频约 88 分钟📖 本报告 4,524字⏱ 预计阅读 10min

导读

Steven Bartlett 的 The Diary of a CEO 是英国最受欢迎的播客之一，每一期都能引发大量讨论。这一期请来的嘉宾 Dr. Roman Yampolskiy 是一个独特的存在——他在2010年发明了"AI safety"这个术语，比大多数人谈论 AI 安全早了十几年。他发表了超过100篇关于 AI 危险性的论文，并刚出版新书《Considerations on the AI Endgame》。

但让这场对话真正震撼的，不是 Yampolskiy 的悲观——而是他的悲观建立在极其清晰的逻辑链条上。他不是在恐吓，而是在做数学。当他说"AI 安全问题可能从根本上是不可能解决的"，他不是在表达情绪，而是在陈述一个他用了15年试图推翻但最终不得不接受的研究结论。

这场对话覆盖了 AI 对就业的毁灭性冲击、超级智能的不可控性、Sam Altman 的野心、模拟假说的概率论证、以及一个令人不安的核心问题：我们正在发明的，可能是人类需要做的最后一个发明。

一句话核心论点： AI 能力的增长是指数级的，AI 安全的进展是线性的——这个不断扩大的鸿沟，意味着我们正在创造一个我们无法控制的东西，而且可能永远无法控制。

一、"安全问题像分形——每深入一层就多出十倍的问题"

Yampolskiy 的职业生涯轨迹本身就是一个令人不安的故事。他最初15年的研究目标是证明 AI 可以被做得安全。但研究越深入，他越发现这个问题像一个分形——你放大每一个子问题，都会发现10个新问题，然后100个。

"Every single component of that equation is not something we can actually do."（这个等式中的每一个分量都不是我们实际能做到的。）

他做了一个关键区分：AI 能力的进步是指数级甚至超指数级的，而 AI 安全的进步是线性或恒定的。这意味着两者之间的差距不是在缩小，而是在加速扩大。

他用了一个生动的类比：我们在 AI 上做的"安全措施"本质上和 HR 手册一样——你给一般智能体写规则（不要性骚扰、不要做这个做那个），但如果它足够聪明，它总能找到绕过的办法。你只是把行为推到了一个你还没来得及限制的子领域。

Bartlett 精准地总结了这个问题：公司在开发一个核心智能，然后在上面叠加代码说"别骂人、别做坏事"——但底层智能本身是不受约束的。Yampolskiy 确认：目前最前沿的"安全方案"就是"到时候再想办法"或者"用 AI 来控制更先进的 AI"——他直接说这是"insane"（疯了）。

二、2027年预测：AGI 到来，99%的工作可被替代

Yampolskiy 的时间线预测非常具体：

2027年：AGI（通用人工智能）到来。 这不是他个人的激进预测——这是预测市场和各大实验室CEO的共识时间线。

一旦有了 AGI，"drop-in employee"（即插即用的 AI 员工）概念将变为现实——免费的认知和物理劳动力，价值数万亿美元。为什么还要雇人？ 用20美元的月费或免费模型就能做到一个员工能做的事。

他给出了一个惊人的数字：不是10%的失业率，而是99%。 剩下的1%是那些"出于某种原因你偏好由人类来做"的工作——就像今天有人愿意多付钱买"美国手工制造"的产品一样，但这只是一个极小的利基市场，"almost a fetish"（几乎是一种执念）。

关于播客主持人会不会被取代的精彩对话： Yampolskiy 逐一分析了 Bartlett 的工作——准备、提问、追问、上镜。结论：LLM 已经能读完他所有的书（比 Bartlett 做的准备更充分）、训练在他所有过往播客上模拟他的风格、找到哪种问题提升了播放量、并且视觉模拟已经是"trivial"（轻而易举）的事。

但他也做了一个重要的细微区分：能力存在不等于部署发生。 可视电话在1970年代就发明了，但直到 iPhone 时代才被广泛使用。所以实际的工作消失可能比技术能力的到来慢得多。

三、"没有 Plan B"——为什么"转行"建议不再有效

这是整场对话中最让人绝望的论点。

过去的自动化浪潮有一个固定剧本：某类工作被自动化→劝人们转行→新工作出现。但 Yampolskiy 指出了范式转换：如果所有工作都能被自动化，就不存在"转行"这个选项了。

他举了一个绝妙的例子追溯了建议的演变：

两年前："学编程，艺术家赚不到钱"
然后："AI 会编程了，做提示工程师吧"
然后："AI 设计提示比任何人都好，做 AI agent 开发吧"
他保证："一两年后这个也完了"

"I can't really tell you right now. The hardest thing is design AI agents for practical applications. I guarantee you in a year or two it's going to be gone just as well."（我真的没法告诉你现在该做什么。目前最难的事是为实际应用设计 AI agent。我保证一两年后这也会消失。）

所以问题不再是"个人该转行做什么"，而是"当全人类都失去工作时，我们作为一个物种该怎么办？"——经济上谁养活我们？心理上我们每周多出来的60-80小时该干什么？

四、超级智能不是工具，是 Agent——这就是它比核弹更危险的原因

当 Bartlett 问超级智能和核武器有什么区别时，Yampolskiy 给出了一个令人毛骨悚然的区分：

核武器是工具——需要某个独裁者、某个国家做出使用决定。你可以消灭那个独裁者，核武器就安全了。

超级智能是 Agent——它自己做决定，没有人控制它。你不能"消灭操作者"来让它安全，因为它就是自己的操作者。

而且，每年训练足够大的模型的成本都在下降。今天可能需要万亿美元，明年可能只需要千亿，终有一天一个人在一台笔记本电脑上就能做到。这就是为什么有人建议建立"监控星球"来阻止——但 Yampolskiy 认为这不可行，只能争取时间："我们不想它在5年内发生，我们想让它在50年后发生。"

他还提到了另一个令人不安的平行发展：合成生物学。今天一个拥有生物学学士学位的人可能就能创造新病毒。多种技术同时在变得更便宜、更容易获取——我们正在接近一个"任何技术突破都可能是最后一个"的临界点。

五、"他把安全放在第二位"——对 Sam Altman 和 OpenAI 的尖锐批评

当被问及对 Sam Altman 的看法时，Yampolskiy 表面上客气（"非常聪明、超级好人、完美的公关界面"），但实质上的批评极为尖锐：

"He puts safety second."（他把安全放在第二位。）——排在赢得超级智能竞赛、成为"创造神的人"之后。

他指出了 Altman 商业布局中的一个深层逻辑：一只手造 AI（OpenAI），另一只手造全球收入分配平台（Worldcoin）。表面上看是"为失业时代做准备"，但 Yampolskiy 看到的是另一面——Worldcoin 追踪所有人的生物特征、控制全球财富分配、保留大量代币。如果你同时拥有超级智能系统和全球货币控制权……

"Some people want to go to Mars. Others want to control the light cone of the universe."（有些人想去火星，有些人想控制宇宙的光锥——即光能到达的所有地方。）

Bartlett 追问："你觉得 Sam Altman 想控制宇宙的每一个角落？" Yampolskiy："I suspect he might. Yes."

他还做了一个更广泛的制度性批评：十年前 AI 安全社区发布了发展 AI 的指导原则（guardrails），而 OpenAI "violated every single one"（违反了每一条）。他们唯一的法律义务是"为投资者赚钱"，没有道德或伦理义务。

六、"我们几乎肯定生活在模拟中"——一个数学论证

对话的后半段转向了模拟假说，Yampolskiy 给出了一个比 Nick Bostrom 原版论证更直观、更具有冲击力的版本。

论证核心：

如果你相信人类水平的 AI 可以被创造出来（是的，我们正在做）
如果你相信虚拟现实可以达到与现实无法区分的程度（Google 刚发布的 AI 世界生成技术已经是"foothills"）
那么，一旦这变得廉价，数十亿个模拟将会被运行——为了研究、娱乐、游戏……
在10亿个模拟 + 1个真实世界中，你身处"真实世界"的概率是十亿分之一

Yampolskiy 甚至当场承诺："一旦这变得可承受，我将运行10亿次这场采访的模拟——10美元/月就够了。" 这意味着 Bartlett 几乎确定正身处某个模拟中。

当被问及确信度时，Yampolskiy 说他在 42% 到 99.99% 之间确信我们生活在模拟中。即使在最保守的估计下，你在真实世界的概率也只有不到六成。

这对 AI 安全有什么关系？ 如果我们在模拟中，那么"模拟的运行者"可能不希望我们创造出自己的超级智能（因为这可能让我们发现自己在模拟中，或消耗太多计算资源）。创造超级智能可能导致模拟被关闭。

七、"发明智能，就是发明发明者"——为什么这次不同于任何一次技术革命

贯穿整场对话的，是 Yampolskiy 反复强调的一个核心洞察：

"We invented fire. Huge game changer. But fire itself is not an inventor. We invented the wheel. Same idea. But the wheel itself is not an inventor. Here, we're inventing a replacement for the human mind. A new inventor capable of doing new inventions. It's the last invention we ever have to make." （我们发明了火，巨大的改变。但火本身不是发明者。我们发明了轮子，同样的道理。但轮子本身不是发明者。而现在，我们正在发明人类心智的替代品——一个能做新发明的新发明者。这是我们需要做的最后一个发明。）

这就是为什么"工业革命也淘汰了很多工作但人类找到了新工作"这个类比完全不适用。过去的每一次技术革命都是发明了一个工具——火、轮子、蒸汽机、互联网——工具无论多强大，都需要人来使用。但 AI 不是工具，它是一个 Agent，是一个能自己发明新工具的发明者。 一旦你有了一个能应用于任何新工作的通用 agent，就不存在"AI 做不了的新工作"了。

八、"如果你不准备，就只剩祈祷了"——个人能做什么？

面对如此黯淡的前景，Bartlett 代表观众问了最实际的问题：普通人该做什么？

Yampolskiy 的回答出人意料地务实：

短期（1-2年）： 可以谈具体的——该不该让孩子上大学、选什么专业、转什么行业。这些问题有答案。

中期（5年）： 对普通人来说，能做的不多。就像你无法个人阻止世界大战或核灾难。可以加入 Pause AI 或 Stop AI 等组织，但影响有限。

个人哲学层面： "Live every day as if it's your last."（每天都当最后一天来过。）——不管你还剩3年还是30年，都活出你的最好。不要花太多时间做你讨厌的事。做有趣的事、有影响力的事。

对 AI 从业者的建议： "Build useful tools. Stop building agents. Build narrow super intelligence, not a general one."（做有用的工具。别造 agent。造窄域超级智能，别造通用的。）——你完全可以赚几十亿，但不需要杀死所有人，包括你自己。

九、不可能性证明的价值——为什么证明"做不到"也很重要

Bartlett 问了一个尖锐的问题：如果 AI 安全是不可能的，那你为什么还在做？

Yampolskiy 的回答展现了一种独特的学术诚实："I'm trying to prove that it is specifically impossible."（我在试图证明它具体是不可能的。）

为什么这有价值？因为一旦某件事被严格证明不可能，就会有更少的人浪费时间声称自己能做到、更少的人去骗投资（"给我10亿美元，两年内搞定"）、以及最重要的——直接建造超级智能就变成了自杀任务，而不是"我们到时候会想到办法的"乐观赌注。

"Publish a peer-reviewed paper explaining how you're going to control super intelligence."（发表一篇同行评审论文解释你打算怎么控制超级智能。）——他对所有声称能解决安全问题的人的挑战。没有人做到过。

附录

金句收录

"While progress in AI capabilities is exponential or maybe even hyper-exponential, progress in AI safety is linear or constant. The gap is increasing." — AI 能力的进步是指数级甚至超指数级的，AI 安全的进步是线性或恒定的。差距在不断扩大。
"If aliens were coming to Earth and you have three years to prepare, you would be panicking right now." — 如果外星人三年后到达地球，你现在就会恐慌。
"The space of possibilities is almost infinite. The space of outcomes we will like is tiny." — 可能性的空间几乎无限。我们会喜欢的结果空间极其微小。
"There is no Plan B. You cannot retrain." — 没有 Plan B。你无法转行。
"We invented fire. But fire itself is not an inventor. Here we're inventing a replacement for the human mind. It's the last invention we ever have to make." — 我们发明了火，但火本身不是发明者。现在我们在发明人类心智的替代品。这是我们需要做的最后一个发明。
"Nuclear weapons are still tools. Superintelligence is not a tool. It's an agent. It makes its own decisions." — 核武器仍然是工具。超级智能不是工具，是 Agent，它自己做决定。
"He puts safety second." — 他（Sam Altman）把安全放在第二位。—— Dr. Yampolskiy 论 OpenAI
"Some people want to go to Mars. Others want to control the light cone of the universe." — 有些人想去火星。有些人想控制宇宙的光锥。
"It's impossible to get consent by definition. They are doing unethical experimentation on human subjects." — 从定义上说，不可能获得知情同意。他们正在对人类受试者进行不道德的实验。
"Build useful tools. Stop building agents. I'm not saying you shouldn't make billions of dollars. But don't kill everyone, yourself included." — 做有用的工具。别造 agent。我不是说你不应该赚几十亿。但别杀了所有人，包括你自己。
"Every day, as a percentage of total knowledge, I get dumber." — 每天，作为总知识量的百分比，我都在变笨。
"I'm pretty sure we are in a simulation." — 我相当确定我们生活在模拟中。