设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

解密 2024 诺贝尔物理学奖为啥颁给 AI:Hinton 和 Ilya 12 年前对话,引发物理诺奖 AI 风暴

新智元 2024/10/9 14:25:27 责编:汪淼

昨天的诺贝尔物理学奖一公布,瞬间炸翻了物理圈和 AI 圈。

Hinton 的第一反应更是有趣:这不会是个诈骗电话吧?

如此出乎意料的结果,让各路针对诺奖物理学奖的严肃预测,都仿佛成了笑话。

而诺贝尔奖的官方账号,也被网友们给冲爆了。他们纷纷高呼:这不是物理学!

「数据科学或神经网络是『用于』物理学,但绝对不『是』物理学。」

相比之下,AI 圈则是一片其乐融融的景象。大佬们都开心地给 Hinton 送去了祝福。

AI 教母李飞飞:AI 的深远影响,如今才刚刚开始

AI 教母李飞飞:AI 的深远影响,如今才刚刚开始

MIT 博士生 Ziming Liu 直言:「Physics (Science) for AI」是一个被严重低估的领域。规模化可以实现一对多的效果,但唯有科学才能带来从无到有的突破。

Jim Fan 则做了一个非常有趣的「AI-物理学对照表」:

想冲击诺奖的 AI 学者们,你们学会了吗

想冲击诺奖的 AI 学者们,你们学会了吗

言归正传,诺贝尔物理学奖,为何要颁给 AI 学者?

这就要从深度学习爆发的那一年讲起。

Geoffrey Hinton:2012 年,深度学习的惊人革命

早在 1986 年,Geoffrey Hinton 等人在 Nature 上发表的论文,就让训练多层神经网络的「反向传播算法」广为人知。

当时我们很多人都相信这一定是人工智能的未来。我们成功地证明了我们一直相信的东西是正确的。

可以说,神经网络在经历第一波寒冬之后,自此开始重新走向 AI 舞台。

1989 年,LeCun 率先使用了反向传播和卷积神经网络。他也同意 Hinton 的看法。

我毫不怀疑,最终我们在上世纪 80-90 年代开发的技术将被采用。

早期的图灵三巨头

早期的图灵三巨头

不过,反向传播算法引发的热潮,随后又在 1995 年被统计机器学习盖过去了。

统计机器学习的风头兴盛了很多年,即使 2006 年 Hinton 在 Science 上首次提出「深度学习」,业内也响应寥寥。

直到 2012 年 9 月,一篇题为「用深度卷积神经网络进行 ImageNet 图像分类」的论文,让此前沉寂多年的 AI 领域热度骤起。

文中提出的 AlexNet 深度卷积神经网络,在当年的 ImageNet 比赛上以碾压之势夺冠,一举将 top-5 错误率降低到了 15.3%,比身后的第二名(26.2%)足足高出 10 多个百分点。

ImageNet 数据集,正是由斯坦福李飞飞团队在 2007 年创建。

AlexNet 摧枯拉朽般的大胜,让研究人员惊叹于大型卷积深度神经网络架构的神奇威力,这篇论文也成为深度学习和人工智能自「AI 寒冬」后重新成为热门领域的重要里程碑。

后来人们所讲的「深度学习革命」,也借此文以发端,直到十二年后的今天。

事后李飞飞这样回顾:自 2012 年以来,深度学习的发展堪称「一场惊人的革命,令人做梦都没想到」。

自此,人们开始相信:大数据、算力、深度模型,是走向通用人工智能的关键三要素。

而深度模型也从最早的卷积神经网络,迭代为递归神经网络、Transformer、扩散模型,直至今天的 GPT。

从生理学、哲学到 AI:大脑究竟如何思考

在年轻时,为了弄清楚人类的大脑如何工作,Hinton 首先来到剑桥学习生理学,而后又转向哲学,但最终也没有得到想要的答案。

于是,Hinton 去了爱丁堡,开始研究 AI,通过模拟事物的运行,来测试理论。

「在我看来,必须有一种大脑学习的方式,显然不是通过将各种事物编程到大脑中,然后使用逻辑推理。我们必须弄清楚大脑如何学会修改神经网络中的连接,以便它可以做复杂的事情。」

「我总是受到关于大脑工作原理的启发:有一堆神经元,它们执行相对简单的操作,它们是非线性的,它们收集输入,进行加权,然后根据加权输入给出输出。问题是,如何改变这些权重以使整个事情做得很好?」

某个周日,Hinton 坐在办公室,突然有人敲门。AI 命运的齿轮从此转动。

敲门的正是 Ilya。

当年青涩的 Ilya

当年青涩的 Ilya

Hinton 给了 Ilya 一篇关于反向传播的论文,约定两人一周后讨论。

Ilya:I didn't understand it.

Hinton:这不就是链式法则吗?

Ilya:不是,我不明白你为啥不用个更好的优化器来处理梯度?

—— Hinton 的眼睛亮了一下,这是他们花了好几年时间在思考的问题。

Ilya 很早就有一种直觉:只要把神经网络模型做大一点,就会得到更好的效果。Hinton 认为这是一种逃避,必须有新的想法或者算法才行。

但事实证明,Ilya 是对的。新的想法确实重要,比如像 Transformer 这样的新架构。但实际上,当今 AI 的发展主要源于数据的规模和计算的规模

2011 年,Hinton 带领 Ilya 和另一名研究生 James Martins,发表了一篇字符级预测的论文。他们使用维基百科训练模型,尝试预测下一个 HTML 字符。

模型首次采用了嵌入(embedding)和反向传播,将每个符号转换为嵌入,然后让嵌入相互作用以预测下一个符号的嵌入,并通过反向传播来学习数据的三元组。

当时的人们不相信模型能够理解任何东西,但实验结果令人震惊,模型仿佛已经学会了思考 —— 所有信息都被压缩到了模型权重中。

AI 如何「蹭」上物理学

讲到这里,你可能有一个疑问:这些跟物理学有什么关系呢?

诺奖委员会的解释是,人工神经网络是用物理学工具训练的

Geoffrey Hinton 曾以 Hopfield 网络为基础,创建了一个使用不同方法的新网络:玻尔兹曼机。在这个过程中,Hinton 使用的是统计物理学的工具,来学习和识别数据中的模式。

就这样,AI 跟物理学联系上了。

如果讲到此次另一位获奖者 John Hopfield,倒是和物理学的关系更紧密一些。

一言以蔽之,Hopfield 网络是按物理学上能量函数最小化来构建的,可以看作是物理学中「自旋玻璃模型」的扩展

Hopfield 网络利用了材料由于其原子自旋而具有特性的物理学 —— 这种特性使每个原子成为一个微小的磁铁。整个网络的描述方式等同于物理学中发现的自旋系统中的能量,并通过找到节点之间连接的值来训练,使保存的图像具有低能量。

另外,Hopfield Network 和玻尔兹曼机都是基于能量的模型

统计力学原理,便是这两者的核心。它们都使用来自统计力学的能量函数,来建模和解决与模式识别和数据分类相关的问题。

在前者当中,能量函数被用来寻找与所存储的模式相对应的最稳定状态。后者中,能量函数通过调整节点之间连接的权重来帮助学习数据的分布。

至此,诺奖委员会就自圆其说了。

John Hopfield:一个想法,波及三大学科

20 世纪 80 年代初,John Hopfield 在加州理工学院创建了一个简单的计算机模型 ——Hopfield Network。

其行为方式不太像当时的计算机,而更像人脑。

这是因为,Hopfield Network 模仿了人脑储存信息的结构。它由相互连接的节点组成,正如人脑中的神经元一样。

节点中的连接强度具有可塑性,可强可弱,而强连接进而形成了我们所说的「记忆」。

Hopfield 学生,现 Caltech 计算机科学、计算与神经系统以及生物工程教授 Erik Winfree 解释道:

Hopfield Network 是物理学中「自旋玻璃模型」(the spin glass model)的扩展。自旋玻璃有两种磁化状态,可以称之为它的「记忆」。

Hopfield 扩展了这一模型,让其有了更复杂的连接模式。

简言之,他使用一个简单的规则,让每对单元(每个节点)之间有不同的连接强度,而不再局限于两种状态。

他的工作证明了,这种网络可以储存多种复杂的模式(记忆),而且比之前的方法更接近大脑运作方式。

Hopfield 以一种跨学科的视角阐述这个模型,解释了人工神经网络与物理学之间的联系。

复旦大学计算机科学教授张军平认为,Hopfield Network 与物理学领域的关联是,它的设计思路模拟了电路结构。

「假设网络每个单元均由运算放大器和电容电阻组成,而每个单元就代表着一个神经元」。

在普林斯顿大学新闻发布会上,Hopfield 表达了同样的观点。他认为,长远来看,新科学领域通常产生于,大量科学知识的交叉点上。

你必须愿意在这些「缝隙」中工作,找出你的知识局限性,以及让这些学科更丰富、更深入、更好被理解而采取的行动。

来自 MIT-IBM 实验室物理学家 Dmitry Krotov 分享了,Hopfield Network 一个想法至少对三大学科产生了巨大的影响。

它们分别是,统计物理学、计算机科学和人工智能、神经科学。

2023 年,他曾发表了一篇 Nature 论文,对 Hopfield Network 在统计物理、神经科学和机器学习等多个学科中,进行了分析。

论文地址:https://www.nature.com/articles/s42254-023-00595-y

Krotov 本人也与 Hopfield 合作过多篇研究,因此他对 Hopfield Network 工作的了解再熟悉不过了。

统计物理学

在统计物理学中,Hopfield Model 成为最常被研究的哈密顿量(Hamiltonian)之一。哈密顿量在物理学中,描述了系统的总能量,是理解系统行为的关键。

这一模型已经催生了数以万计的论文、几本书籍。它为数百名物理学家进入神经科学和人工智能,提供了切入点。

就连诺贝尔奖官方给出了解释,机器学习模型,是基于物理方程式。

计算机科学和 AI

在计算机科学中,Hopfield Network 终结了 AI 寒冬(1974-1981),并开启了人工神经网络的复兴。

Hopfield 在 1982 年发表的论文,标志着现代神经网络的开始。

论文地址:https://www.pnas.org/doi/10.1073/pnas.79.8.2554

就连如今的顶会 NeurIPS,起源可以追溯到 1984-1986 年在加州理工学院举行的被称为「Hopfests」的会议。

这个名字直接致敬了 Hopfield,彰显了他的早期工作在神经网络研究中的核心地位。

John Moody 在 1991 年的 NeurIPS 论文集中记录了这段历史。

另外,Hopfield Network 成为限制玻尔兹曼机(Restricted Boltzmann Machine)发展的主要灵感来源。RBM 在早期深度学习中,发挥着重要的作用。

还有基于能量的模型(Energy Based Model),代表着人工智能领域中一个重要的范式。

它也是从 Hopfield 基于能量和记忆的模型发展而来。

神经科学

在神经科学领域,Hopfield Network 成为后来许多计算记忆模型的基础。

它将记忆回忆概念化,即能量景观中滚下山坡的想法,已成为神经科学中的经典隐喻。

这次「诺奖风波」后,许多人也对如今的学科分类有了全新的思考。

不可否认的是,AI 已经融入了全学科、全领域。

而这次诺贝尔物理学奖颁给 AI,也是 AI 大爆发对于人类社会颠覆影响的一个真实写照。

参考资料:

  • https://x.com/Caltech/status/1843764971022495942

  • https://x.com/DimaKrotov/status/1843682498825564463

  • https://cacm.acm.org/opinion/between-the-booms-ai-in-winter/

  • https://x.com/DrJimFan/status/1843681423443800315

本文来自微信公众号:微信公众号(ID:null),作者:编辑部 HYZ,原标题《解密诺贝尔物理学奖为啥颁给 AI?Hinton 和 Ilya 12 年前对话,竟引发物理诺奖 AI 风暴!》

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知