设置
  • 日夜间
    随系统
    浅色
    深色
  • 主题色

李飞飞团队具身智能新作:500 美元,一切家务机器人帮你干

量子位 2025/3/12 14:51:19 责编:清源

现如今机器人又是跑步又是后空翻,但到底什么时候能做上家务给人类养养老?

现在,为了挑战这个难题,李飞飞团队带来了具身智能研究最新成果 ——𝗕𝗘𝗛𝗔𝗩𝗜𝗢𝗥 𝗥𝗼𝗯𝗼𝘁 𝗦𝘂𝗶𝘁𝗲 (𝗕𝗥𝗦),一个解决机器人在家庭任务中全身操作问题的综合框架。

并且,其核心组件的实现成本还不到 500 美元

机器人学习领域中的一个“圣杯”级挑战是执行通用的日常家庭移动操作任务。借助一款新型双臂移动机器人,我们的最新成果 ——BRS 正在尝试攻克这一极为困难且尚未解决的难题!

拧开门把手,早上出去丢个垃圾:

等大人上班后,再帮忙整理下杂货架:

顺带收拾下客厅,将脏碗放到洗碗机里:

然后任劳任怨,再里里外外刷干净马桶:

吭哧吭哧一顿收拾下来,一个机器人就把所有家务活包圆了。

而且研究团队还发现,即使干活时出了岔子,机器人也能自我纠正。

(一开始手臂范围无法够着马桶盖,然后有一个向前倾斜身体的动作)

网友们纷纷表示,离实现可通用的家庭机器人又更进一步了。

那么,李飞飞团队究竟是如何做到的?

核心瞄准三项全身控制能力

根据论文介绍,通过细致分析 BEHAVIOR-1K(包含 1000 项日常家庭活动的机器人测试基准),团队首先确定了机器人成功完成各种家务活动所必需的三项全身控制能力

  • 两只机械手臂之间的协同配合能力;

  • 稳定精确的导航;

  • 机械手臂末端执行器拥有广泛的可操作范围和触及能力;

尤其是最后一项,大多数人可能忽视了末端执行器控制这一关键能力。

因为在家庭环境中,日常物品通常位于不同高度和位置,因此机器人也必须相应地调整其伸展范围。

基于上述考虑,团队认为给家务机器人配备双臂、移动底座和灵活躯干,是实现全身操作的关键。

具体而言,他们选择了 Galaxea R1 机器人(国内星海图出品)作为硬件,其具备两个 6 自由度手臂(每个手臂都配备了一个平行钳口夹持器)、4 自由度躯干和全向移动底座,能满足家庭任务所需的关键能力。

不过,这类复杂设计给策略学习方法带来了重大挑战,尤其是在数据规模化采集全身协作方面。

对此,BRS 通过两项关键创新来解决软硬件协同问题:

  • 推出 JoyLo,一种通用的低成本全身遥操作接口;

  • 提出新的学习算法 WB-VIMA;

展开来说,JoyLo(Joy-Con on Low-Cost Kinematic-Twin Arms)通过基于操纵木偶的方法,利用运动学孪生臂和任天堂 Joy-Con 控制器,实现高效的全身控制。

同时提供丰富的用户反馈,优化了策略学习数据质量。

总成本不超过 500 美元的情况下,团队在 R1 机器人上实现了 JoyLo 的设计目标:

  • 高效的全身协调控制系统,实现复杂动作的流畅衔接;

  • 丰富的用户反馈机制,带来直观的远程操作体验;

  • 确保高质量的示范动作,提升策略学习效果;

  • 低成本实现方案,大幅提高系统可及性;

  • 实时、便捷的控制器设计,确保操作无缝顺畅。

而另一项 WB-VIMA(Whole-Body VisuoMotor Attention)学习算法,核心目标是利用机器人的固有运动学层次结构来建模全身动作。

基于 Transformer,通过自回归全身动作去噪和多模态观察注意力机制,WB-VIMA 能帮助机器人有效学习协调的全身动作。

同时在训练和部署时,使用特定的优化器和噪声调度器,并在工作站上进行推理以实现低延迟控制。

值得一提的是,WB-VIMA 还解决了一个关键问题:

尤其在人形机器人中,在移动基座或躯干动作中出现的微小错误会在末端执行器处显著放大

对此,WB-VIMA 在预测下游组件动作时,不是孤立地进行,而是先分析上游组件当前的动作状态、位置等信息,将这些信息作为条件和依据,去推算下游组件应该做出怎样的动作,从而实现整体的协调运动。

BRS 适用于各种家庭任务

研究团队在五个具有代表性的家庭任务上评估 BRS,包括清洁房屋、清洁厕所、倒垃圾、放置物品到架子上和晾晒衣服。

结果表明,BRS 能完成多种家庭任务。

同时,实验环节还进一步验证了两个创新方法的有效性。

整体而言,JoyLo 在数据收集效率、策略学习适用性和用户体验方面表现出色,WB-VIMA 在性能上优于基线方法。

对于 JoyLo,团队对 10 名参与者进行了全面的用户研究,以评估 JoyLo 的效果及其收集数据对策略学习的适用性。

下图为 JoyLo 与 VR 控制器和 Apple Vision Pro 进行比较的示意:

从结果来看,JoyLo 在所有接口中表现出色,任务成功率最高、完成时间最短,其完成任务平均成功率是 VR 控制器的 5 倍,而使用 Apple Vision Pro 无人能完成全部任务。

且在用户研究中,所有参与者都认为 JoyLo 是最友好的界面。

另外,WB-VIMA 在所有任务中全面超越基准方法。

其端到端任务成功率比 DP3 高 13 倍,比 RGB-DP 高 21 倍;平均子任务表现分别优于 DP3(1.6 倍)和 RGB-DP(3.4 倍)。

而且 WB-VIMA 在任务中出错的几率更小。它与环境物体的碰撞极少,且几乎不会因施加过度力量而导致电机失去动力。

最后,关于 BRS 框架的所有工作已全部开源,感兴趣可以进一步了解。

项目主页:

  • https://behavior-robot-suite.github.io/

论文:

  • https://arxiv.org/abs/2503.05652

算法代码:

  • https://github.com/behavior-robot-suite/brs-algo

机器人代码:

  • https://github.com/behavior-robot-suite/brs-ctrl

训练数据:

  • https://huggingface.co/datasets/behavior-robot-suite/data

参考链接:

  • https://x.com/drfeifei/status/1899127976979226835

本文来自微信公众号:量子位(ID:QbitAI),作者:一水

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

相关文章

软媒旗下网站: IT之家 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 软媒手机APP应用 魔方 最会买 要知