误会了误会了,被传为“Sora 作者之一”的上交大校友谢赛宁,本人紧急辟谣。
他的声明发在其朋友圈,以及“交大校友荟”账号交大 org 上,主要说了几点:
Sora 完全是 OpenAI 的工作,和谢赛宁本人一点关系没有。
但他后面将在纽约大学开展相关研究
要开发 Sora 这样的成果,人才第一,数据第二,算力第三。
《黑镜》等科幻作品里的部分故事可能很快成为现实,需要准备好对应的监督体系。
传播不实信息的原文章也在大家帮忙举报后被平台下架了。
这番误会终于算是告一段落。
不过谢赛宁透露的信息中还有一些细节值得关注,相熟的 Sora 开发领队 Bill Peebles 说团队基本不睡觉高强度工作了近一年。
而 Bill Peebles 在 2023 年 3 月入职 OpenAI,距今刚好不到一年。也从侧面否定了之前传闻中的“Sora 早就开发完成,只是一直没发”。
至于为什么会有这个离谱的误会,还要从谢赛宁与 Peebles 合作的一篇论文说起。
为什么会有这个误会?
Sora 技术报告引用的一项研究成果 DiT 模型,正是谢赛宁与 Peebles 合著。那时 Peebles 博士在读期间到 Meta 实习,谢赛宁也还没完全离开 FAIR。
DiT 首次将 Transformer 与扩散模型结合到了一起,相关论文被 ICCV 2023 录用为 Oral 论文。
虽然 Sora 模型具体架构细节没有公布,但谢赛宁此前从 Sora 技术报告中分析出,很可能就是建立在 DiT 的基础之上。
除此之外,Sora 还参考借鉴了许多其他学术界成果。
如把训练数据编码成 Patch 的方法,引用了谷歌 DeepMind 的 Patch n' Pack 等。
博采众长,同时坚定在 Scaling Law 指引下力大砖飞,才造了令人惊叹的 Sora 成果。
大神确实也是大神
排除掉这个误会,谢赛宁确实也是 AI 研究领域的一位大神,目前在纽约大学任助理教授。
他本科毕业于上海交通大学 ACM 班,18 年博士毕业于加州大学圣迭戈分校。
毕业后谢赛宁加入 Facebook AI Research(FAIR),曾与何恺明合作提出 ResNeXt。目前他在谷歌学术总被引用数达到 4 万 5,h-index 也高达 31。
就在 Sora 发布不久前,他还领导纽约大学团队对 DiT 模型来了个大升级,新模型称为 SiT。
SiT 与 DiT 拥有相同的骨干网络,但质量、速度灵活性都更好。
谢赛宁认为,跟进 Sora 相关研究是学术界可以为这个时代肩负的重责之一。
让我们一起期待他的新成果吧。
本文来自微信公众号:量子位 (ID:QbitAI),作者:梦晨 衡宇
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。