6 年元老为何加入离职大军?AGI 的未来,我们到底需要面对什么?OpenAI 前高级顾问 Miles Brundage 最近发表长文,细述了自己的思考和感受。
OpenAI 的「员工叛逃」还没有结束。
近日,OpenAI 又有一位 6 年元老、研究主管 Miles Brundage 发表长文官宣离职,并详细解释了自己为何「出走」。
作为一家年轻的 AI 独角兽,成立于 2015 年的 OpenAI 如今刚刚 9 岁,因此在公司待了 6 年之久的 Brundage 足以被称为「元老」,见证了 OpenAI 如何一路起伏、筚路蓝缕地走到今天。
在博文中,Brundage 也在开头强调:为 OpenAI 的高管和董事会提供建议,为 AGI 的到来做准备,这实际上是他梦想中的工作;甚至就在 2015 年 OpenAI 刚成立时,Brundage 兴奋得一夜不睡,写下一篇博文强调这个组织的重要性。
原文地址:https://www.milesbrundage.com/blog-posts/archives/12-2015
因此,离开 OpenAI 对他来说并不是一个容易的决定。但是为了有更多时间研究自己认为重要的课题,更独立、自由地发表观点和作品,Brundage 决定转而加入(甚至自己创办)非营利组织,将重点放在 AI 政策研究和倡导上。
Miles Brundage 本科毕业于乔治华盛顿大学,本科期间担任过美国能源部的特别助理,之后前往亚利桑那州立大学攻读博士,研究方向为科技的人类和社会维度,博士后期间曾在牛津大学担任 AI 政策研究员。
2018 年,Miles Brundage 加入了刚刚成立 3 年的 OpenAI 担任政策方面的研究科学家,之后又在 2021 年升任研究主管,目前是 AGI 准备工作的高级顾问。
为何离开 OpenAI
总体来看,Brundage 的离职是希望从行业外部而非内部影响 AI 的发展,这与今年 Geoffrey Hinton 离开谷歌的原因如出一辙,具体有如下几个考虑因素:
机会成本
本职工作已经占去了几乎全部的时间,因此 Brandage 感觉很难从事自己认为重要的研究课题。甚至在某些情况下,身处行业之外时,从事这些研究能更有影响力和说服力。
而且,OpenAI 目前已经如此引人注目,成果发布前就需要从许多不同的角度进行审查,以至于无法发表某些主题的文章。
但值得注意的是,Brundage 并不是完全反对 OpenAI 在出版物审查方面的立场,他认为行业中存在出版限制是合理的,他本人也帮助编写了 OpenAI 政策的几个迭代版本,但公司目前施加的限制确实已经太多了。
减少偏见
如果选择成为某个组织的一部分,并且每天都和那里的同事们密切合作,你就很难对这个组织保持公正。
Brundage 表示,他在分析中尽力追求公正,但仍然会有偏见的存在。而且在 OpenAI 工作这件事本身,就会影响到外界如何看待自己的观点和研究。考虑到财务利益上的冲突,人们有理由质疑来自行业的政策想法。
在有关政策的对话中,有更多独立于行业的声音至关重要,而 Brundage 计划成为其中之一。
在 OpenAI,能做的都做了
从入职至今,Brundage 认为自己作为「AGI 准备状态高级顾问」的工作已经完成了大部分。
「AGI 准备状态」(AGI Readiness)主要分为两种:一是 OpenAI 要准备好管理日益强大的 AI 能力,二是整个世界也要准备好有效管理 AI 能力,包括通过监管 OpenAI 和其他公司。
对于前者,Brundage 已经向他的负责对象 ——OpenAI 的高管和董事会 —— 详细介绍了他认为 OpenAI 需要做什么,以及差距在哪里;而对于后者,他认为自己在 OpenAI 外部能够更加有效。
虽然失去了一些在 OpenAI 发挥影响力的机会,但 Brandage 希望在更大程度上影响整个生态系统。
AGI,我们都没准备好
Brundage 认为,对于即将到来的 AGI,OpenAI 或任何其他的前沿实验室都还没有准备好,这个世界也还没有准备好。
原文地址:https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7
但需要明确的是,他不认为这种「没准备好」的状态与 OpenAI 领导层的声明相冲突;同时他也暗示,虽然距离理想的标准存在相当的差距,但是我们仍可以在相关时间点步入正轨,为此 Brundage 将在余下的职业生涯中致力于人工智能政策。
科技公司和这个世界是否走上了 AGI 准备的正轨,是一个复杂的函数,取决于安全和保障方面的文化如何随着时间的推移而发挥作用、监管如何影响组织的激励措施、各种有关 AI 能力和安全方面困难的事实,以及各种其他因素。
此处,Brundage 特别表扬了 OpenAI 最近新增加董事会成员的决定,新吸纳的成员包括前陆军上将 Paul M. Nakasone 和 CMU 机器学习系主任 Zico Kolter,这都是朝着正确方向迈出的一步。
顺便一提,Brundage 表示,「AGI」这个术语承载了太多意义,它现在更多地暗示着一种二元思维方式,而不是实际意义,因此有必要澄清一下,此处的「为 AGI 做好准备」,指「准备好安全、可靠且有益地开发、部署和管理能力日益强大的 AI 系统」。
最近,他和团队正在充实 OpenAI 提出的 AGI 五级框架,不久后或许会发表一篇正式的论文。这个框架曾被彭博社披露,引来了不少争议。
虽然 Brundage 对 AI 政策抱持着谨慎和批判的态度,但对于 AGI 前景的预测,他的确称得上是一个「技术乐观主义者」,观点与硅谷的风投大佬 Khosla 非常一致。
他认为,在未来短短的几年内,人工智能很可能能够实现足够的经济增长。假设我们能制定出适当的政策来确保公平分配,人类就能实现高生活水平的提前退休。
但在此之前的短期时间中,AI 很可能会抢走一些迫切需要工作的人的机会,尤其是那些可以远程完成的、容易自动化的任务。
但事实是,人类最终应该摆脱为谋生而工作的义务,这也为构建 AI 和 AGI 提供了最强有力的论据之一。从长远来看,有些人可能会继续工作,但不会像现在这样有如此迫切的激励因素。
一个「后工作世界」(post-work world)的风险之一就是文明的停滞(比如电影「机器人总动员」所展现的),但我们目前还没有在政治、文化或其他方面为此做好准备,因此需要更多的思考、辩论和政策讨论。
2008 年电影「机器人总动员」(WALL-E),由皮克斯工作室制作、迪士尼出品
很多人都描绘过「AI 造福人类」的前景,这些描述似乎是出于好意而非阴谋论。但目前存在效率低下的问题,很大程度上是由于民间社会和政府的技术专业知识不足,以及缺乏良好的规范和理论基础。
例如,对于出现的问题,我们是否应该期望市场机制给出解决方法?什么时候应该构建定制化、应用范围狭窄的 AI 解决方案,什么时候应该提高通用 AI 系统的能力来解决?在各种情况中,正确的方法是继续补足现有的技术,还是创造全新的技术,等等。
要不要在 OpenAI 工作
「要不要在 OpenAI 工作」,这个问题听起来有点凡尔赛,可以类比下「斯坦福和 MIT 该选哪个」。
但如果屏幕前的你拿到了 offer 正在纠结该去 OpenAI 还是谷歌 DeepMind,Miles Brundage 的经验或许能帮助你解决这个甜蜜的烦恼。
在 OpenAI 工作是大多数人希望能做到的最有影响力的事情之一,所以在大多数情况下,答案是肯定的。
考虑到每个人拥有的技能和机会不同,很难做出笼统的陈述,但有一点是确定的 ——OpenAI 的每一个角色,以及每个人对待工作的谨慎程度都很重要,对 OpenAI 组织文化的每一项贡献也很重要。
在通往更强大 AI 的道路上,每一次产品的部署都会发挥重要作用,比如影响行业规范,以及人们认知和监管 AI 的方式。
在 OpenAI 工作,无论是 AI 的安全与保障,抑或是 AI 能力和产品方面的研究,发挥个人的能动作用来推动 AI 安全都是非常有影响力的。
下面这段话,似乎是 Brundage 的一段隔空喊话,写给他仍在 OpenAI 工作的前同事们:
「任何在 OpenAI 工作的人都应该认真对待这样一个事实:他们的行为和言论有助于组织文化,并且当这个组织开始掌管极其先进的能力时,可能会创造正面或负面的路径依赖。文化对任何组织都很重要,但在前沿 AI 的背景下尤其重要,因为大部分决策不取决于监管法规,而是来自公司中的人。」
正如 Brundage 在前文所表示的,他认为某些政策研究最好在外部进行,AI 的安全和保障工作有时也是如此。尽管 OpenAI 内部确实需要一些人来推动公司采取良好的政策立场,但存在独立的安全研究也很有价值。
参考资料:
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/
本文来自微信公众号:微信公众号(ID:null),作者:新智元
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。