机器人落地复杂场景,社交导航能力一定是避不开的关键一点。
先简单介绍下,社交导航(SocialNav,Social navigation)是指在人机共存的环境中,机器人在遵循社会规范的前提下执行导航任务。
就拿下图来说,机器人需导航至目标点,而目标恰好位于两名行人未来轨迹的交汇区域。
它不仅要灵活避免潜在的碰撞风险,还需与行人保持合适的社交距离。
总而言之,社交导航该任务对视觉导航领域提出了独特挑战:
预建地图的方法难以适应人群密集的动态环境,而现有 RL 方法存在短视决策和依赖全局信息的问题。
近期,香港科技大学(广州)和香港科技大学联合提出了一种新算法,Falcon。
它通过将轨迹预测算法融入社交导航任务中,实现长期动态避障并提升导航性能。
社交导航的另一个重要挑战则是现有基准的真实性不足。
如下所示,现有基准通常存在以下几方面的局限性:
场景复杂性不足:仅关注机器人与人类的交互,而忽略场景本身复杂性。
人类行为不自然:行人动作僵硬、运动模式失真,难以反映实际场景交互。
针对上述局限性,研究团队构建了两个新数据集 ——Social-HM3D 和 Social-MP3D,作为社交导航任务的新基准。
该项目论文已被 ICRA 2025 接收,同时已经挂上 arXiv。代码和模型权重可到 GitHub 寻找。
Falcon:集成轨迹预测辅助任务的强化学习框架
Falcon 算法框架由 2 个模块组成:
主策略网络 (MPN,Main Policy Network)
时空预知模块 (SPM,Spatial-temporal Precognition Module)
障碍物碰撞惩罚 :严厉惩罚机器人撞到静态障碍物或行人。
人类接近惩罚:当机器人靠近行人时,随距离减小增加惩罚。
轨迹阻碍惩罚:如果机器人干扰行人未来路径,则提前施加惩罚。
人类数量估计:预测场景中有多少人,帮助评估环境复杂程度。
当前位置跟踪:实时跟踪行人位置,快速响应变化。
未来轨迹预测:预测未来几秒行人路径,提前规划避障。
真实场景重建:基于高精度 3D 扫描,涵盖公寓、办公楼、商场等多种室内场景。
自然人类行为:采用多目标导向的轨迹生成算法和 ORCA 动态避障模型,模拟人类行走、休息等自然行为。
合理人群密度:根据场景面积动态调整人类数量,确保交互密度适中。
主策略网络:让机器人学会“遵守规则”
模块一,主策略网络,这是 Falcon 的“大脑”,负责指导机器人如何行动。
其核心是社会认知惩罚(SCP,Social Cognition Penalty)机制,通过设计专门的惩罚函数,避免机器人干扰人类未来轨迹,从而引导智能体规避碰撞风险并保持社交距离。
具体而言,Falcon 引入三个关键惩罚项:
时空预知模块:让机器人学会“提前规划”
模块二,时空预知模块(SPM),结合轨迹预测与多种社交感知辅助任务,显著增强了机器人对未来环境动态变化的预测能力。
其主要功能包括:
关键在于,辅助任务仅在训练阶段使用。在推理阶段,机器人仅依赖主策略网络进行决策。这种设计简化了推理过程,确保模型在实际应用中的高效性。
特意构建两个新的数据集
现有社交导航基准存在诸多不足,如场景过于简化、人类行为不自然等。
以下表格为现有的社交导航模拟器与数据集统计特性对比:
为弥补这些缺陷,研究人员构建了两个新数据集 ——Social-HM3D 和 Social-MP3D,具备以下优势:
研究团队表示,这两个基准既平衡了人机交互的社交密度,同时也避免了过度拥挤。
这一基准为社交导航研究提供了更贴近真实场景的评估环境,并且支持推广到有人环境下的物体导航、图像导航等下游任务。
实验部分
在定量分析方面,实验表明,Falcon 在目标达成和社会合规方面表现出色:
其一是目标达成。
在 Social-HM3D 中达到 55.15% 的成功率和成功路径效率(SPL,Success weighted by Path Length)。
即使在未训练过的 Social-MP3D 数据集上,也能取得 55.05% 的成功率。
其二是社会合规。
在保持社交距离和避免碰撞方面表现良好,达到接近 90% 的个人空间合规性(Personal Space Compliance, PSC)和接近 42% 的人机碰撞率。
定量结果表明,Falcon 不仅在已知环境中表现出色,还能有效适应未见过的复杂动态环境。
在定性分析方面,下图的定性结果展示了 Falcon 在不同典型场景中的优越性 ——
第一个是人员跟随情境。
Falcon 通过预测行人未来轨迹,主动调整速度和路径,保持安全距离。
第二个是复杂交叉路口。
面对行人和静态障碍物同时存在的场景,Falcon 提前预测并规划出安全高效的路径。
第三个是正面接近情境。
传统的 RL 算法 Proximity-Aware 试图直接从行人面前穿过导致碰撞,Falcon 通过预测行人未来轨迹,提前调整路径并安全避开。
3 个关键发现
各项实验后,团队有了三个关键发现:
发现 1,未来感知算法优于以往实时感知算法。
静态路径规划算法(如 A*)无法适应动态环境,而实时感知方法(如 ORCA 和 Proximity-Aware)虽能被动避障,但仍存在延迟反应问题。
相比之下,Falcon 能够主动预测行人轨迹并提前调整路径,显著提升了安全性和效率。
发现 2,辅助任务有助于提高性能,其中轨迹预测最重要。
下表展示了不同辅助任务对导航性能的影响。
其中轨迹预测(SPM.Traj)效果最为显著,成功率从 40.94% 提升至 54.00%。
发现 3,SCP 和 SPM 相辅相成,改善性能并加快训练收敛。
下图图中为消融研究中的训练曲线。
可以观察到,具有 SPM 和 SCP 的完整 Falcon 模型收敛更快,性能更好。
SCP 在提升模型性能方面发挥关键作用,尤其是与 SPM 集成后,整体性能进一步提升(从 53.63% 提高至 55.15%),并加快训练收敛速度。
项目主页:
https://zeying-gong.github.io/projects/falcon/
论文链接:
https://arxiv.org/abs/2409.13244
代码链接:
https://github.com/Zeying-Gong/Falcon
本文来自微信公众号:量子位(ID:QbitAI),作者:龚泽颖
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。