前高管怒斥！OpenAI解散Ilya团队，宫斗第二季
来源：机器之心
奥特曼的激进策略，现在不受控制了？
没有想到，OpenAI 在本周发布 GPT-4o，技术再次大幅度领先之后，随之迎来的却是一系列坏消息。
本周，OpenAI 联合创始人、首席科学家 Ilya Sutskever 官宣离职，与 Ilya 同步宣布离开的，还有超级对齐团队的共同领导者 Jan Leike。
Ilya 与 Jan 是 OpenAI 超级对齐团队的领导者，该团队的任务是确保人工智能与其制造者的目标保持一致，而不是做出不可预测的行为并伤害人类。
另据《连线》等媒体报道，随着最近两位高管离职，OpenAI 的超级对齐团队已被解散。
本周五，Jan Leike 在 X 发布了一系列帖子，怒斥 OpenAI 及其领导层忽视“安全”而偏爱“光鲜亮丽的产品”。
山姆・奥特曼、 Ilya Sutskever 和 Jan Leike
发生了什么事？
实际上，自去年 11 月那场“董事会风波”以来，社交媒体上一直流传着一个梗 ——Ilya 看到了什么。人们猜测：“OpenAI 秘密地取得了巨大的技术突破，而 Ilya 之所以离开，是因为他看到了一些可怕的事情，比如可能毁灭人类的人工智能系统。”
当然，这只是一种粗暴的猜测。OpenAI 频繁失去安全团队成员可能与奥特曼的领导有很大关系。据消息人士透露，注重 AI 系统安全的员工已经对奥特曼的领导失去了信心。
据外媒 Vox 报道，一位不愿透露姓名的公司内部人士表示：“这是一个信任一点一点崩溃的过程，就像多米诺骨牌一张一张倒下一样。”
很少有员工愿意公开谈论此事。部分原因是 OpenAI 让员工在离职时签署带有非贬低条款的离职协议。如果你拒绝签署，你就放弃了你在该公司的股权，这意味着你可能会损失数百万美元。
然而，总有例外。OpenAI 前员工 Daniel Kokotajlo 拒绝签署离职协议，以便他可以自由地批评该公司。Daniel Kokotajlo 于 2022 年加入 OpenAI，主要负责安全部署人工智能系统，并曾在治理团队工作，直到上个月辞职。
据 Vox 报道，Daniel Kokotajlo 称：“OpenAI 正在训练更加强大的人工智能系统，最终目标是全面超越人类智能。这可能是人类有史以来最好的事情，但也可能是最糟糕的事情。”
OpenAI 一直将构建通用人工智能 (AGI) 系统作为目标。“我加入时满怀期待地希望 OpenAI 在越来越接近 AGI 时表现得更加负责任，但我们中的许多人慢慢意识到 OpenAI 没有这样做，我逐渐对 OpenAI 领导层以及他们负责任地处理 AGI 的能力失去了信任，所以我辞职了，”Daniel Kokotajlo 说道。
周五，Leike 在 X 的一条帖子中解释了他辞去超级对齐团队联合领导职务的原因，并描绘了一幅非常相似的画面。他写道：“相当长一段时间以来，我一直与 OpenAI 领导层关于公司核心优先事项的观点存在分歧，直到我们最终达到了临界点。”
虽然 OpenAI 的技术仍在不断发展，但 Ilya Sutskever 等重量级科学家的流失让人不得不担心它的前途。
为什么奥特曼“不值得信任”
此次紧随 GPT-4o 发布的新一轮动荡，其源头还要追溯到去年的“宫斗”。
在去年 11 月那场董事会风波中，Ilya Sutskever 曾与 OpenAI 原董事会合作试图解雇奥特曼。OpenAI 在公告中称奥特曼对董事会不够坦诚。
当时有人将其解读为：OpenAI 可能已经在内部实现了 AGI，但并没有将消息及时同步给更多人员，为了防止该技术未经安全评估就被大规模应用，Ilya 等人按下了紧急停止键。
不过仅仅一个周末的时间，奥特曼就重返 OpenAI 董事会，并且之前罢免他的董事被纷纷解雇，董事会宣布重组，新任董事会主席 Bret Taylor 表示：“我们一致认为 Sam 和 Greg 是 OpenAI 的合适领导者。”
一场风波之后，奥特曼似乎可以更自由地管理 OpenAI 了，而 Ilya Sutskever 陷入了尴尬。
与之相对的是几个月来，Ilya Sutskever 的动态甚少。据知情人士透露：“Sutskever 已经大约有六个月没有在 OpenAI 的办公室出现了，他一直远程领导超级对齐团队”，直到本周 Ilya 正式宣布离职。
IIya 在 X 上发帖告别 OpenAI，发帖时间为 7：00AM
两分钟后，奥特曼就发帖称：“这对我来说非常难过；Ilya 是我亲密的朋友......”
Altman 紧随 IIya 发帖，发帖时间为 7：02AM
准时官宣离职，迅速回应，这微妙的时间安排似乎说明了一切......
值得注意的是，Ilya 宣布离职时，他表示自己将去追求“一个对我个人而言非常有意义的项目”。也就是说，注重 AI 安全的 Ilya 选择离开 OpenAI 来完成自己的项目。
反观奥特曼，一些 OpenAI 员工认为奥特曼虽然声称要优先考虑 AI 安全，但有些行为却自相矛盾。例如，奥特曼似乎急于积累尽可能多的芯片，加速技术的发展，而忽视安全方面的进展。
此外，Ilya Sutskever 的盟友、超级对齐团队成员 Leopold Aschenbrenner 上个月刚刚被 OpenAI 解雇。外媒报道称他和同团队另一位研究员 Pavel Izmailov 因被指控泄露信息而被解雇。但 OpenAI 却没有提供任何泄露信息的证据。
Aschenbrenner 和 Izmailov 被迫离职的同一个月，另一位安全研究员 Cullen O'Keefe 也离开了 OpenAI。
两周前，安全研究员 William Saunders 在 EA 论坛上发表了一篇神秘的帖子。Saunders 总结了自己在 OpenAI 作为超级对齐团队一部分的工作。然后他写道：“我于 2024 年 2 月 15 日从 OpenAI 辞职。”
一位评论者提出了显而易见的问题：为什么 Saunders 要发布这个？
“无可奉告”，Saunders 回答道。
这让人回想起，去年奥特曼复职后不久，Ilya 发布了这样一条推特，但随后很快被删除：
IIya 在 X 上发帖：“过去的一个月里，我学到了很多教训，其中一个教训是：‘鞭打，直到士气提升’这句话的使用频率远超其应有的程度。”
最后，超级对齐团队的联合领导人 Jan Leike 在 Sutskever 宣布离职后仅几个小时就在 X 上发帖：“我辞职了”，没有温暖的告别，也没有对公司领导层的信任投票。
严格的“封口协议”
其他注重安全的前员工转发了 Leike 直白的辞职推文，并附上了心形表情符号。
评论者认为他们可能是受到了一项“不得诋毁协议”的约束。
X 平台上，一位 OpenAI 前员工爆料，并对公司“强制用协议保证的股权 + 工资激励措施”和“离职协议签署的合法性、合理性”做出了质疑。
入职文件说明中包含一项：“在离开公司的六十天内，你必须签署一份包含‘一般豁免’的离职文件。如果你没有在 60 天内完成，你的股权获益将被取消。”
这位爆料者还透露了：入职期间和 OpenAI 的人交谈时，他们都没有太在意这个小细节。
那么，认真对待 AI 安全和社会影响的人在 OpenAI 工作是否是一件好事？这或许是个开放问题。
安全团队土崩瓦解后，谁来确保 OpenAI 的工作是安全的？
随着 Leike 不再担任超级对齐团队的负责人，OpenAI 已经用公司联合创始人 John Schulman 替代了他。
但是该团队很快就被员工证实已不复存在。该小组的工作将被纳入 OpenAI 的其他研究工作中。而且 Schulman 正忙于他现有的全职工作，即：“确保 OpenAI 当前产品的安全。”
“成立超级对齐团队的全部意义在于，如果公司成功构建了 AGI（通用人工智能），那么实际上会出现不同类型的安全问题，”这位内部知情人士告诉记者。“所以，这是对未来的专项投资。”
即使团队在全力运作时，这种“专项投资”也占据了 OpenAI 研究的重要部分，根据规定，公司曾经承诺会使用 20% 的算力来进行安全对齐 —— 这可能是当前 AI 公司最重要的资源。
现在，这些算力可能会被转移到 OpenAI 的其他团队，而且是否会将重点放在避免未来 AI 模型带来的灾难性风险上还不清楚。
需要明确的是，这并不意味着 OpenAI 现在正在发布的产品 —— 比如新版 ChatGPT（由 GPT-4o 加持，可以与用户进行语音的自然对话），会毁灭人类。
但接下来将会发生什么？
“重要的是要区分‘他们目前正在构建和部署不安全的 AI 系统吗？’和‘他们是否正在安全地构建和部署 AGI 或超级智能？’”这位内部知情人士说。“我认为第二个问题的答案是否定的。”
Leike 在周五的 X 平台帖子中也表达了同样的担忧。
他注意到，他的团队一直在努力争取足够的算力来完成工作，并且总体上一直在“逆风航行”。
Jan Leike 在 X 平台上连发 4 贴，对算力资源获取和在 OpenAI 内部工作表示担忧。
最引人注目的是，Leike 说：“我相信我们应该投入更多的精力来为下一代模型做好准备，关注安全性、监控，做好准备、让 AI 具有对抗性的鲁棒性、（超级）对齐，关注保密性、社会影响等相关主题。这些问题很难做对，我很担心我们没有朝着正确的方向前进。”
当世界上 AI 安全领域的领军人物之一说世界上领先的 AI 公司没有走在正确的轨道上时，所有人想必都有理由感到担忧。
面对媒体曝光的大量信息，OpenAI CEO 奥特曼立即回复，表示接下来几天会写一篇长文说明这些问题。
但除此以外，更多的情况目前还只能靠猜测。
这一系列新变化可能会对 OpenAI 造成冲击，同时令其投资者感到担忧。我们知道，下周微软的 Build 大会即将召开。
——————
参考内容
https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
https://www.wired.com/story/openai-superalignment-team-disbanded/
https://venturebeat.com/ai/openais-former-superalignment-leader-blasts-company-safety-culture-and-processes-have-taken-a-backseat/