特斯拉机器人 Optimus 最新视频出炉,已经可以在厂子里打工了。
正常速度下,它分拣电池(特斯拉的 4680 电池)是这样的:
官方还放出了 20 倍速下的样子 —— 在小小的“工位”上,拣啊拣啊拣:
这次放出的视频亮点之一在于 Optimus 在厂子里完成这项工作,是完全自主的,全程没有人为的干预。
并且在 Optimus 的视角之下,它还可以把放歪了的电池重新捡起来放置,主打一个自动纠错:
对于 Optimus 的手,英伟达科学家 Jim Fan 给出了高度的评价:
Optimus 的手是全球五指机器人里最灵巧的之一。
它的手不仅有触觉感应,自由度(DoF)也达到了 11 个,而同行基本上都只有 5-6 个自由度。
并且坚固耐用,无需经常维护即可承受大量物体交互。
而就在 Jim Fan 的评论区,马斯克还现身透露了一个更重磅的消息:
今年晚些时候,Optimus 手的自由度将达到 22 个!
不过有一说一,视频中展示 Optimus 分拣自家电池还只是“开胃菜”。
这一次,特斯拉罕见地公布了机器人的训练详情。
和特斯拉汽车相似的逻辑
首先在神经网络方面,从视频中的字幕中可以得知,特斯拉给 Optimus 部署的是一个端到端的神经网络来训练分拣电池的任务。
也正因如此,Optimus 所用到的数据仅仅是来自于 2D 摄像头和手部的触觉、力度传感器,并直接生成关节控制序列。
特斯拉工程师 Milan Kovac 进一步透露,这个神经网络完全是在机器人的嵌入式 FSD 计算机上运行,并且由机载电池供电:
当我们在训练过程中添加更多不同的数据时,单个神经网络可以执行多个任务。
在训练数据方面,我们可以看到是人类戴着 VR 眼镜和手套,通过远程操作的方式来采集:
对于这一点,Jim Fan 认为:
将软件设置为第一人称视频流输入和精确控制流输出,同时保持极低的延迟是非常重要的。
这是因为人类对自己的动作和机器人的动作之间哪怕是最小的延迟都非常敏感。
而 Optimus 恰好有一个流体全身控制器,可以实时执行人体姿势。
并且特斯拉机器人已经将这种模式扩展到了其它任务中:
如此规模也是令 Jim Fan 大受震惊的一点:
并行收集数据,一个机器人是远远不够的,而且人类还得每天轮班倒。
这种规模的操作可能是学术实验室里想都不敢想的。
不仅如此,从视频中 Optimus 们正在执行的任务来看也是多种多样,有分拣电池的,有叠衣服的,还有整理物品的。
Milan Kovac 表示特斯拉在其中一家工厂已经部署了几个机器人,它们每天正在真实的工作站接受测试并不断改进。
总而言之,Optimus 单是从视觉和人类示范来进行训练来看,这一点上是和特斯拉汽车的逻辑是有点类似了。
在视频的最后,官方还曝出 Optimus 另一个能力上的提升 —— 可以走更远的路了:
One More Thing
Jim Fan 的实验室也在这两天放出了一个新进展 ——
让机器狗踩着瑜伽球行走!
而它的训练方法和特斯拉 Optimus 截然不同,是完全在模拟环境中进行,然后零样本迁移到真实世界中,无需微调,直接运行。
具体背后的技术则是团队新推出的 DrEureka,它是以之前五指机器人转笔背后的技术 Eureka 为基础。
DrEureka 是一个 LLM 智能体,可以编写代码来训练机器人在模拟中的技能,并编写更多的代码来弥合困难的模拟与现实之间的差距。
简而言之,它完全自动化了从新技能学习到现实世界部署的流程。
而相较于特斯拉 Optimus 和英伟达机器狗的训练方式,Jim Fan 也做了个灵魂总结:
远程操作是解决类人机器人问题的必要但不充分的条件。从根本上说,它无法扩展。
并且也有网友对此表示认同:
那么你觉得呢?
参考链接:
[1]https://twitter.com/Tesla_Optimus/status/1787027808436330505
[2]https://twitter.com/DrJimFan/status/1787154880110694614
[3]https://twitter.com/DrJimFan/status/1786429467537088741
[4]https://twitter.com/_milankovac_/status/1787028644399132777
本文来自微信公众号:量子位 (ID:QbitAI),作者:金磊
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。