简智新创 — 灵巧手与具身动作算法

HKT 异构重定向、Dex 遥操、Ego-SMPL 纯视觉跨本体控制、MANUS+VIVE 手—臂遥操作与 HORA Sim-to-Real

2026.06 – 2026.09 在简智新创担任灵巧手算法实习生，聚焦五条技术线：HKT 异构外骨骼重定向、Dex 实时遥操与数据采集、Ego-SMPL 纯视觉跨本体控制、MANUS+VIVE 手—臂协同遥操作，以及密集接触手内操作的 RL Sim-to-Real。

ExoFactor / HKT：异构外骨骼重定向

ExoFactor: Geometry-Conditioned Cross-Attention for Calibration-Efficient Retargeting of Heterogeneous Hand Exoskeletons（ICRA-27 在写）。

Method 01 · Heterogeneous Kinematics Transformer

提出异构运动学 Transformer（HKT）：将不同外骨骼的 FK 编译为拓扑无关的几何 Token，通过几何条件化跨注意力学习“外骨骼—21 keypoints—灵巧手”的通用映射，支持面向不同机械拓扑的少样本快速标定与高精度遥操。

外骨骼 FK→几何 Token→Cross-Attention→21 keypoints→多平台灵巧手
异构外骨骼动作到灵巧手的真机重定向与遥操演示（外骨骼结构已作马赛克保密处理）。

自研 Dex 遥操 / 控制适配（Retarget）

目标：让自研 Dex 手套高精度、低延时地遥操机械手，支持手机端 App 遥操，并采集高质量数据用于强化 / 模仿学习。以 DexPilot 为 baseline，在 DexYCB 上做离线 retargeting 误差与实时仿真评测（指尖误差、关节角误差、手-物碰撞、轨迹平滑性），实现 Dex 外骨骼 / 动捕 / 视觉输入 → Wuji Hand2 20-DoF 关节轨迹的稳定映射。

人手 21 关键点 → Wuji Hand2 的仿真 retarget 可视化。

Key-Objectives Retargeting（DexPilot V2）

用多目标重定向替换 DexPilot 的目标函数，显式建模整体手型、指尖相对关系、指尖方向、掌心姿态、关节正则与速度平滑等关键目标。相较 V1（DexYCB 评测）：

  • 指尖方向误差 ↓27.6%（mean）、对指（thumb 相对）误差 ↓10.3%；
  • 关节速度 / 加速度 / jerk 的 mean 与 P95 均 ↓约 10%（更平滑、更机械友好）；
  • 关节 near-limit 率 ↓65.2%（安全性提升），实时性 P95 仍在 30 Hz 帧预算内。
DexPilot V1（左）vs Key-Objectives Retargeting V2（右）多视角对比。

Topo Retargeting 与实时性优化

引入 Topo 重定向进一步把指尖全局误差从 0.99 cm 降到 0.57 cm；针对其高延迟做了一系列工程优化——Jacobian 加速（约 1633 ms → 112 ms/帧）、warm-start gate、Laplacian 向量化、solver 重构与 verified fast path、residual/Jacobian 热路径压缩，端到端时延 mean 28.4 → 21.3 ms（满足 30 Hz 实时控制）。

SDK 工程交付与真机遥操

补充 SDK 左右手支持，并用 C 重新实现原 Python SDK 逻辑（Android SDK / Flutter），与 Python 版精度基本一致、Apple M5 双手串行 mean 8.3 ms；打通 Dex 真机 → sim（磁编码器 raw 数据后处理、量纲统一与零位校准），推进 Wuji / 强脑机械手的真机遥操。

左：动捕（mocap）驱动的遥操；右：Dex 外骨骼遥操作实机演示（外骨骼结构已作马赛克保密处理）。

动捕数据采集与处理

搭建动捕（mocap）数据的采集与处理流程：多源动捕/手部关键点采集、时空对齐与坐标系变换、重定向到机械手关节轨迹，产出可用于模仿/强化学习的高质量演示数据。

动捕数据采集与处理 · 手部动作重定向到灵巧手的采集流程演示。

Ego Motion → Cross-Embodiment Control

Method 02 · Unified SMPL Motion Control

以人类第一视角 Ego 纯视觉数据输出的 SMPL 全身骨架与 Hand21 手部轨迹作为统一动作表示，使用固定会话坐标变换和相对根节点表征，避免逐帧刚体拟合带来的抖动与尺度漂移；再通过本体适配器将同一段动作分别映射至 Tianji + Wuji 与 Unitree G1。

Ego MCAP→SMPL + Hand21→本体适配器→Tianji + Wuji↔Unitree G1 / SONIC
  • Tianji + Wuji：将上肢运动与 Hand21 分别适配至 Tianji 双臂与 Wuji Hand2 的关节空间；
  • Unitree G1 / SONIC：将 SMPL-22 扩展为 SMPL-24，并生成 6 维腕部参考，通过 ZMQ Mode-2 接入官方 GEAR-SONIC 编码器/解码器，输出 G1 29-DoF 动作；
  • 同步控制：仅依赖 Ego 纯视觉输入，在统一时间轴下驱动多台异构本体；完成 4,272 帧（85.42 s）闭环验证，ONNX 推理 P95 为 8.82 ms。
左：Tianji + Wuji 实体平台；右：Ego 动作驱动的 Unitree G1 SONIC 实机演示。
左：Tianji + Wuji 与 G1 的 MuJoCo 同步回放；右：Ego 多视角轨迹复核与动作回放。

当前能力：仅依赖 Ego 纯视觉输入的多本体同步控制。下一步：将当前链路进一步改造为实时流式回放，使同一 Ego 动作可低延时驱动多种具身本体。

MANUS + VIVE：手—臂协同真机遥操作

Method 03 · SE(3)-Referenced Hand–Arm Teleoperation

构建手指与手臂解耦的双链路遥操作：MANUS 左手骨架经 Hand21 与 Wuji retargeting 驱动 Wuji Hand2；中心与左腕双 VIVE Tracker 以 90 Hz 相对 SE(3) 消除 SteamVR 世界坐标漂移，经 One-Euro 滤波、安装外参与手动零点的 1:1 末端映射驱动 Tianji 左臂。

MANUS Skeleton→Hand21→Wuji Hand2｜Dual VIVE SE(3)→Marvin IK→Tianji Arm
  • 稳定控制语义：仅在操作者显式捕获零点后开始手臂跟随；Tracker 短时失效、IK 无解或仿真重启均不会静默重置人机对应关系；
  • 单一生产运动学链：采用 Tianji Marvin SDK IK，以当前实测关节保持解的连续性；HL-IK 仅保留为历史实验资产，避免双重 IK 和冗余限幅带来的尾延迟；
  • 低延时与可诊断性：手、臂和仿真独立启停，端到端延迟控制在 25 ms 以内；完整记录 90 Hz Tracker、映射目标、IK 输出与实机反馈，便于逐层定位不跟手、漂移与可达域问题。
MANUS 左手与双 VIVE Tracker 协同驱动 Wuji Hand2 和 Tianji 左臂的实机演示。

密集接触任务 Retarget + RL Sim-to-Real

针对转笔等密集接触的手内操作任务：

  • 保持人手-物体的任务相关接触拓扑，生成带物体位姿与手部 21 keypoint 的 reference 轨迹；
  • 在 Isaac Lab 中通过 reference-state initialization、residual joint-position action 与 PPO 训练 tracking policy；
  • 最终迁移到真机完成转笔任务。

接触保持转笔（Retarget + Tracking）

接触保持重定向与策略轨迹跟踪的双视角转笔仿真演示。

Revo3 右手 · HORA 转球（Sim-to-Real）

Method 04 · HORA Sim-to-Real

搭建“Stage 1 特权信息条件化 PPO + Stage 2 ProprioAdapt 时序蒸馏”两阶段训练链路。Stage 1 在质量、摩擦、质心与 PD 响应随机化下学习条件控制策略；Stage 2 冻结 Actor，以本体历史预测动力学隐变量。

针对无触觉 Revo3 真机定位并消除 contact observation mismatch，统一训练、ONNX 导出与真机部署的关节位置—目标历史输入；Stage 2 潜变量 MSE 由 0.47 收敛至 0.04–0.05，完成 Revo3 右手闭环部署与转球验证。

Privileged PPO→Dynamics Latent→ProprioAdapt→ONNX→Revo3 闭环
左：Isaac 仿真中的 HORA 转球策略；右：Revo3 右手 ONNX 真机闭环与转球验证。

演示：基于 pi0.5 的 SFT 策略

基于 pi0.5 进行监督微调（SFT）的策略实机演示。

基于 pi0.5 的 SFT 策略实机演示。