具身智能可视化实验室
从多模态感知、Sim-to-Real 迁移、操作学习到世界模型,可视化具身智能体如何感知物理世界、学习技能并在想象中规划行动。
01
具身感知:多模态传感器融合
机器人通过视觉(相机)、触觉(力传感器)、本体感觉(关节编码器)感知环境,多模态信息在融合层对齐后形成统一的世界状态表征。
视觉
触觉
本体感觉
融合状态
02
Sim-to-Real 迁移
在仿真中大规模训练策略,通过域随机化(Domain Randomization)与域适配(Domain Adaptation)弥合仿真与现实的物理与视觉差距。
域随机化
纹理/光照/物理参数
让策略对分布扰动鲁棒
域适配
对抗特征对齐
缩小仿真-现实特征差距
现实微调
少量真实数据
在硬件上快速适配
03
操作学习:抓取策略
机器人通过强化学习训练抓取策略:状态(物体位姿+夹爪状态)输入策略网络,输出连续动作(接近-对齐-闭合),奖励引导学习。
04
Affordance 理解
预测物体各部位的可操作性(抓握、按压、推拉、倾倒),为动作规划提供约束。热力图高亮可操作区域。
抓握
按压
推拉
倾倒
05
多模态接地
将自然语言指令("把红色杯子放到左边")接地到视觉区域,通过跨模态注意力建立词语与像素区域的对应。
06
导航与路径规划
在已知地图上用 A* 搜索最优路径,结合动态窗口法(DWA)进行局部避障,实现从起点到目标的安全导航。
07
交互学习:人类反馈强化
机器人执行动作后,人类提供偏好反馈(更好/更差),RLHF 框架学习奖励模型并优化策略,减少危险探索。
08
世界模型:Dreamer 架构
Dreamer 在学习的潜在世界模型中想象未来轨迹,基于想象 rollout 训练 Actor-Critic,无需真实环境交互即可规划。
循环模型
RSSM
循环状态空间模型
想象 rollout
潜在空间前向模拟
无需真实环境
策略学习
Actor-Critic
基于想象奖励回传