Sora 新视频,变成“抖音独占”了。
悄无声息,OpenAI 正式杀入 TikTok,加上洗脑配乐直接让人刷到停不下来,疯狂引流吸粉中:短短 4 天,涨粉 10 万,50 万赞 —— 这还是不打枪不宣传的情况下。
这以后,人类创作者还怎么玩?
Sora 新视频,只发 TikTok
在 OpenAI 刚开的 TikTok 认证账号上,悄然更新了不少全新生成视频。每一个都很有特点,同样引发各路热议。
来感受一下:
a16z 合伙人惊呼,如果这是在信息流里刷出来的,绝对分不出真假。
我看过很多 AI 视频了,但这一条感觉到了转折点。
来到真实的短视频消费场景中,就更显 Sora 与竞品代差明显:太逼真,以至于要特别声明不是真的。
OpenAI 可太担心 AI 视频被当真引起不好影响了,不遗余力地以各种方式提醒“这是假的!这是假的!”。
网友开始发出这样的预警:
从现在开始,你在网上看到的一切都是值得怀疑的,不要相信你的眼睛。
有句老话叫“互联网时代,没有人知道你是一条狗”。现在正式升级成“Sora 时代,没有人知道你是一条不存在的狗”。
下面再来欣赏几个“抖音独占”版 Sora 视频:
超微距追踪蚁群,效果堪比纪录片。
以前 DALL・E 3 画的静态图也可以拿出来重复利用,Sora 加工一下再配上电音,就成了爆款舞蹈视频。
还特意用一条长达 1 分 24 秒的视频,展示了类似抖音特效的 AI 视频编辑能力。
直接搞得不少短视频创作者心态爆炸,要退坑了。
甚至连平台本身都被降维打击。
全球估值第一的独角兽字节跳动,与刚刚跃升第三位的 OpenAI 之间,似乎正酝酿着一场对决。
UGC 王者和 AIGC 新贵之间,终有一战。
“字节版 Sora”也在研发
实际上,在 Sora 一夜爆火之前,字节内部并不缺乏 AI 视频技术。甚至其中一款 Boximator 还被传成是“中国版 Sora”。
在 Sora 发布之前 Boximator 的论文就已经公布,由字节 AI 实验室总监李航领衔。
其实 Boximator 的功能并非根据纯文字生成视频,而是按照文字提示将静态图片动态化。
它以字节去年 11 月推出的 PixelDance 为基础模型,加入了新的动作设定方式 —— 从图像中框选物体,然后设置运动终点或直接绘制轨迹,就能对动态效果进行精细控制。
形式上,Boximator 作为一个插件,与现有的视频扩散模型结合使用,通过冻结基础模型的权重,仅训练控制模块来实现这一功能。
比如,通过框框画画,让小哈基米按照一定的轨迹追着球跑。
效果上,虽然也有 bug(飘走的雨伞没有伞柄),但与 Pika 1.0(中)和 Gen-2(右)相比,Boximator 的动画明显更加完整,也更接近文字提示。
从材质和物理效果上看,也是 Boximator 更胜一筹。
技术层面,从架构上看,Boximator 在视频扩散模型的每个空间注意力块中增加了一个新的自注意力层,用于处理由对象 ID、硬 / 软标志和边界框坐标编码的控制 token。
为了简化学习“框-对象”关联的挑战,Boximator 在训练过程中还采用了一种称为自跟踪(self-tracking)的技术。
那么 Boximator 到底算不算“字节版 Sora”?
字节对此传闻,以辟谣的姿态来回应:
Boximator 是视频生成领域控制对象运动的技术方法研究项目,目前还无法作为完善的产品落地,距离国外领先的视频生成模型在画面质量、保真率、视频时长等方面还有很大差距。
Boximator 建立在之前 PixelDance(基础研究)、MagicAnimate(专注于人体动作)等更多字节团队研究基础之上的最新成果。
总的来说,这些技术并非针对 Sora 特意开发,但在 AIGC 大战如火如荼的背景之下,仍不失为一种“战备”。
再加上年前原抖音 CEO 张楠卸任,专注于剪映,奔赴 AIGC 风口。可以说虽然 Sora 的发布很突然,但字节并不是毫无准备,或者说早就在业务推进中感知到了技术趋势。而相比 OpenAI 与字节这样早晚要有的对决,视频行业上下游其他选手,更像是遭遇了一场飞来横祸。
视频编辑、素材站遭殃
Sora 的第一刀,其实砍向了 Adobe。
5 天过去了,股价跌跌不休,市值蒸发过百亿美元。
危机时刻,Adobe 刚刚紧急宣布,组建了一个 50 人的 AI 研究团队。
但是这投入的力度,没让大家看出诚意。
29945 员工中的 50 人,只占 0.16%。
Adobe 代表的是沿用近 30 年的视频生产、编辑工具,服务于内容创作者。
不转型就会变成下一个柯达、诺基亚,但转型也被认为面临很大挑战。
比如有人指出,Adobe 坐拥大量数据,但要用过去创作者的成果去训练 AI,就会与这些用户关系紧张。
也正是因此,Adobe 的 AI 生图工具 Firefly 并没有在自家创意作品社区 Behance 的数据上训练,有些束手束脚。
又比如从过去 Adobe 在 AI 生图的表现来看,效果比 Midjourney 尚且很大差距,如今在 AI 视频上又该如何面对 OpenAI 的技术代差。
Adobe 之外,受冲击第二大的就是素材供应商了,代表公司 Shutterstock 的日子也不好过。
连马斯克都认同“这个行业可能消亡”的观点。
不过 Shutterstock 也给自己找好了退路,早早与 OpenAI 签订了合作协议,从素材供应商开始转型训练数据供应商。
这几天不断刷屏的 Sora 视频中,就有不少 Shutterstock 图片的影子。
还有人开玩笑说,Sora 名字四个字母不会就是代表“Shutterstock 原创,AI 搅拌”吧。
参考链接:
[1]https://www.tiktok.com/@openai
[2]https://boximator.github.io/
[3]https://twitter.com/bilawalsidhu/status/1760076742679552273
本文来自微信公众号:量子位 (ID:QbitAI),作者:梦晨 克雷西
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。