连发 13 条推文！OpenAI 超级对齐负责人 Jan Leike，也就是刚刚追随 Ilya 离开公司的那位，自曝离职的真正原因，以及更多内幕。
一来算力不够用，承诺给超级对齐团队的 20% 缺斤少两，导致团队逆流而行，但也越来越困难。
二来安全不重视，对 AGI 的安全治理问题，优先级不如推出“闪亮的产品”。
紧接着，更多的八卦被其他人挖出来。比如 OpenAI 离职成员都要签一份协议，保证离职后不在外说 OpenAI 坏话，不签的话视为自动放弃公司股份。
但仍然有拒不签署的硬骨头出来放猛料（笑死），说核心领导层对安全问题优先级的分歧由来已久。
去年宫斗至今，两派的观念冲突到达了临界点，这才看上去颇为体面地崩了。
因此，尽管阿尔特曼已经派了联合创始人来接管超级对齐团队，仍旧不被外界看好。
冲在最一线的推特网友们感谢 Jan 有勇气说出这个惊人大瓜，并感叹：
我勒个去，看来 OpenAI 真的不太注重这个安全性！
不过回过头来，如今执掌 OpenAI 的阿尔特曼这边，暂时还坐得住。
他站出来感谢了 Jan 对 OpenAI 超级对齐和安全方面的贡献，表示 Jan 离开，他其实很难过、很舍不得。
当然了，重点其实是这一句：
等着，过两天我会发一篇比这更长的推文。
承诺的 20% 算力居然有画大饼成分
从去年 OpenAI 宫斗到现在，灵魂人物、前首席科学家 Ilya 就几乎不再公开露面、公开发声。
在他公开宣称离职前，就已经众说纷纭。很多人认为 Ilya 看到了一些可怕的事情，比如可能毁灭人类的 AI 系统啥的。
△ 网友：我每天醒来第一件事就是想 Ilya 看到了啥
这次 Jan 算是摊开了说，核心原因就是技术派和市场派对安全方面的优先等级产生了不同看法。
分歧很严重，目前后果嘛…… 大家也都看到了。
据 Vox 报道，熟悉 OpenAI 的消息人士透露，更注重安全的员工已经对阿尔特曼失去了信心，“这是一个信任一点一点崩溃的过程”。
但如你所见，在公开平台和场合，没有太多离职员工愿意公开谈论此事。
一部分原因是 OpenAI 一直以来，都有让员工签署带有非贬低协议的离职协议的传统。如果拒绝签署，就等于放弃了此前拿到的 OpenAI 的期权，这意味着出来说话的员工可能会损失一笔巨款。
然而，多米诺骨牌还是一张接一张的倒下了 ——
Ilya 的辞职加剧了 OpenAI 近期的离职潮。
紧随其后宣布离职的，除了超级对齐团队负责人 Jan 以外，目前有至少五个安全团队成员离职。
其中还有个没签署非贬低协议的硬骨头，Daniel Kokotajlo（以下简称 DK 哥）。
△ 去年 DK 哥写道，他认为 AI 发生生存灾难的可能性为 70%
DK 哥在 2022 年加入 OpenAI，在治理团队工作，主要工作内容是引导 OpenAI 安全部署 AI。
但他也在近期辞职了，并且对外接受了采访：
OpenAI 正在训练更强大的 AI 系统，目标是最终全面超越人类智能。
这可能是人类有史以来发生过的最好的事情，但如果我们不小心行事，也可能是最糟糕的事情。
DK 哥阐述，当年，他加入 OpenAI，满怀对安全治理的抱负和希望，期望 OpenAI 越靠近 AGI 能越负责任。但团队中许多人慢慢意识到，OpenAI 不会这样了。
「逐渐对 OpenAO 领导层以及他们负责地处理 AGI 的能力失去了信心」，这就是 DK 哥辞职的原因。
对未来 AGI 安全工作的失望，是 Ilya 加剧的离职潮中众人离开的一部分原因。
还有一部分原因，是超级对齐团队，恐怕没有外界想象的那样能资源充沛地进行研究。
即便超级对齐团队满负荷工作，团队也只能获得 OpenAI 承诺的 20% 的算力。
而且团队的一些请求经常被拒绝。
当然是因为算力资源对 AI 公司来说重要至极，每一点都要合理分配；也因为超级对齐团队的工作是“解决如果公司成功构建 AGI，实际上会出现不同类型的安全问题”。
换句话说，超级对齐团队对应的是 OpenAI 需要面临的未来的安全问题 —— 划重点，是未来的、不知是否会出现的。
截至发稿，阿尔特曼还没有发出他那篇“（比 Jan 爆料内幕的）更长的推文”。
但他简单提到，Jan 对安全问题的担忧是对的，“我们还有很多事情要做；我们也致力于这样做。”
就这一点，大伙儿可以先办个小板凳等等，到时候咱一起第一时间吃瓜。
综上，现在超级对齐团队走了好些人，尤其是 Ilya 和 Jan 的离职，让这个风雨之中的团队面临群龙无首的窘况。
后续安排，是联合创始人 John Schulma 来接手，但不再有专门的团队。
新的超级对齐团队将是联系更松散的小组，成员分布在整个公司的各个部门，OpenAI 发言人将其描述为“更深入地整合”。
这一点也为外界所质疑，因为 John 的原本全职工作是确保目前的 OpenAI 产品的安全问题。
不知道突然多了份责任后，John 能不能忙得过来，好好领导关注现在和关注未来安全问题的两个团队？
Ilya-Altman 之争
如果把时间阵线拉长，其实今天的分崩离析是 OpenAI“宫斗”Ilya-Altman 之争的续集。
时间回溯到去年 11 月，当时 Ilya 还在，他同 OpenAI 董事会合作试图解雇掉阿尔特曼。
当时给出的理由是，他在沟通中不够真诚。换言之，我们不信任他。
但最终结果显而易见，阿尔特曼带着他的“盟友”威胁加入微软，结果董事会屈服，罢免行动失败。Ilya 离开董事会。而阿尔特曼这边，选择了对他更为有利的成员加入董事会。
在这之后，Ilya 就再也社交平台上消失了，直至前几天官宣离职。而且据说，已经大约 6 个月没有出现在 OpenAI 办公室了。
当时他还留下一条耐人寻味的推文，但很快就删除了。
在过去的一个月里，我吸取了许多教训。其中一个教训是，“在士气提高之前，殴打会一直持续下去 ”这句话比它应有的含义更经常地适用。
但据内部人士透露，Ilya 一直远程共同领导着超级对齐团队。
而在阿尔特曼这边，员工们对他最大的指控就是言行不一，比如他声称自己想优先考虑安全，但他的行为却很矛盾。
除了原本承诺的计算资源没有给到外。还有像前阵子找沙特等筹集资金来造芯。
那些注重安全的员工懵了。
如果他真的关心以尽可能安全的方式构建和部署人工智能，那么就不会这么疯狂地积累芯片，来加速技术的发展？
更早之前，OpenAI 还从一家阿尔特曼投资的一家初创公司订购芯片。金额高达 5100 万美元（约合人民币 3.6 亿元）。
而当时宫斗那几天 OpenAI 前员工的举报信中，对于阿尔特曼的描述似乎也再一次印证。
也正因这样从始至终“言行不一”的操作，让员工们逐渐对 OpenAI 以及阿尔特曼失去信心。
Ilya 是这样，Jan Laike 是这样，超级对齐团队也是这样。
有贴心的网友整理出这几年间，发生的相关事情的重要节点 —— 先来个贴心提示，下文提到的 P（doom），指“AI 引发世界末日场景的可能性”。
2021 年，GPT-3 团队负责人因“安全”问题离开 OpenAI，创立 Anthropic；其中一位认为 P（doom）为 10-25%；
2021 年，RLHF 安全研究负责人离职，P（doom）为 50%；
2023 年，OpenAI 董事会解雇阿尔特曼；
2024 年，OpenAI 解雇两位安全研究员；
2024 年，一位特别关注安全的 OpenAI 研究员离职，他认为 P（doom）已经在 70%。
2024 年，Ilya、JAN Laike 离职。
技术派还是市场派？
大模型发展至今，「如何实现 AGI？」其实可归结为两条路线。
技术派希望技术成熟可控再应用；市场派则认为边开放边应用“渐进式”走到终点。
这也是 Ilya-Altman 之争的根本分歧，即 OpenAI 的使命：
是专注于 AGI 和超级对齐，还是专注于扩展 ChatGPT 服务？
ChatGPT 服务规模越大，意味着需要的计算量越大；这也就会占用 AGI 安全研究的时间。
如果 OpenAI 是个致力于研究的非盈利组织，他们应该将更多时间花费在超级对齐上。
而从 OpenAI 对外的一些举措来看，结果显然不是，他们只是想要在大模型这个竞争中拔得头筹，为企业和消费者提供更多的服务。
这在 Ilya 看来，这是件非常危险的事情。即便我们不清楚随着规模的扩大会发生什么，但在 Ilya 看来，最好的办法就是安全第一。
开放和透明，这样我们人类才能确保安全地构建 AGI，而不是以某种隐秘的方式。
但在阿尔特曼带领之下 OpenAI，似乎既不追求开源，也不追求超级对齐。相反，它一心只想朝着 AGI 的方向狂奔，同时试图建立一条护城河。
那么最后 AI 科学家 Ilya 的选择正确，还是硅谷商人阿尔特曼能走到最后呢？
现在还无从得知。但至少 OpenAI 现在面临着关键抉择。
有业内人士总结了两个关键信号，一个是 ChatGPT 是 OpenAI 主要收入，如果没有更好的模型支撑，就不会免费向所有人提供 GPT-4；
另一个则是如果离职的团队成员（Jan、Ilya 等）不担心很快会有更强大的功能，他们就不会关心对齐的问题…… 如果 AI 停留在这个水平上，基本上也无所谓。
但 OpenAI 的根本矛盾没有得到解决，一边是盗火一样的 AI 科学家对负责任发展 AGI 的忧虑，另一边则是硅谷市场派对于用商业化方式推动技术可持续的急迫。
两方已经不可调和，科学派正在完全出局 OpenAI，而外界至今也不知道，GPT 究竟到哪一步了？
迫切想要知道这个问题答案的吃瓜群众都有点累了。
一种无力感涌上心头，就像 Ilya 的老师、图灵奖三巨头之一 Hinton 说的那样：
我老了，我担忧，但我无能为力了。
参考链接：
[1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
[2]https://x.com/janleike/status/1791498174659715494
[3]https://twitter.com/sama/status/1791543264090472660
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。