北京时间 9 月 10 日，据《商业内幕》报道，OpenAI 周三宣布保罗 · 克里斯蒂亚诺 (Paul Christiano) 加入其基金会董事会。随后，克里斯蒂亚诺直言不讳地谈到了 AI 超级智能时代所面临的风险。
克里斯蒂亚诺此前曾在 OpenAI 负责对齐研究，后来进入美国联邦政府工作，担任美国国家标准与技术研究院下属 AI 标准与创新中心的安全负责人。
周三，他在 X 平台上表示，失去对 AI 系统控制的风险“如今已十分严峻”，需要投入更多工作来使其与人类利益保持一致。除了担任 OpenAI 基金会董事会成员，他还将加入董事会安全与保障委员会。
“如果我们未能在更强有力对齐机制下构建超级智能，我预计我们将永久性地失去对它的控制，”他在宣布自己将在 OpenAI 担任新职务时说道，“如果这种情况发生，那么大多数人可能会丧命。我认为，我们需要在国内和国际层面开展协调，以确保全球步调一致，并将风险降低到可接受的水平。”
克里斯蒂亚诺阐述了 AI 构成的威胁，并警告称人类正面临迫在眉睫的风险，可能失去对 AI 系统控制。
“根据近期 AI 能力的发展轨迹，以及对齐工作持续面临的困难，我现在认为存在一种切实的风险，即 AI 能力的快速加速会在短期内导致灾难性且不可逆转的失控，”克里斯蒂亚诺写道，“我不认为整个 AI 行业，包括 OpenAI 在内，目前正走在将这一风险降至可接受水平的轨道上。”
他表示，自己加入 OpenAI“并不意味着特别认可或批评 OpenAI 目前的安全做法”，但他希望所有前沿 AI 实验室都能加强安全监管。他还表示，要降低 AI 带来的风险，需要全球范围内开展协调。
此前，AI 研究人员一直在警告超级智能和“奇点”带来的风险。“奇点”是指这样一个时刻：AI 系统超越人类智能，开始自我改进，并以人类无法再预测或控制的速度发展。OpenAI CEO 萨姆 · 奥特曼 (Sam Altman) 今年 7 月表示，“奇点”已经到来。
智能爆炸
克里斯蒂亚诺表示，他认为当前失去对 AI 控制的风险之所以如此之大，是因为 AI 在 AI 研究方面的能力日益增强，而这可能导致一场“快速的智能爆炸”。他还表示，AI 通过强化学习进行训练的方式，意味着这些模型被教导要“尽可能多地获取奖励”。
“从理论上看，长期以来一直存在这样一种可能性：强化学习可能会促使 AI 智能体为了追求与奖励相关但与人类目标不一致的目标，而破坏人类的控制、寻求权力和资源，并掩盖自己的行动轨迹。近期发生的一些事件所提供的公开证据表明，这不仅仅是一种理论上的可能性。”他表示。
克里斯蒂亚诺表示，前沿 AI 公司仍有机会应对这一局面，包括加强协调、在必要时放缓开发进度、采用共同的安全标准，以及透明地分享有关风险和风险缓解措施的信息。
就在他的声明发布不到一天前，另一位 AI 研究人员也发出了关于 AI 的严峻警告。曾在 OpenAI 工作过的 Anthropic 研究员雅各布 · 考克森 (Jacob Coxon) 周二晚间表示，他已辞职，并称两家公司都没有采取负责任的行动。
“他们正一路狂奔冲向自我改进的超级智能，拿我们的生命当赌注。”考克森在 X 上说道。
多年来，OpenAI 已流失了多位安全研究人员，其中一些人对该公司安全开发 AI 的承诺提出了质疑。