普渡机器人 — VLA 基座模型

2026.03 – 2026.06 在普渡机器人担任 VLA 算法实习生，围绕自研轮式双臂机器人开展视觉-语言-动作基座模型的复现、适配、评测、推理加速与强化学习后训练，共四条工作线。

模型复现与本体适配

复现 GR00T-N1、DM0，基于自研轮式双臂本体的搬箱子和生产任务数据做 SFT，适配动作表征与 infer config，并记录训练踩坑与效果归因。

自研基模 RoboChallenge 评测

打通官方 RoboChallenge 评测链路：部署自研基模 HTTP 推理服务、ClientAPI 对接与本地 Mock 闭环，实现 20 维模型动作 → Franka 控制接口的映射，并在 Table 30 上微调。

推理速度优化

参考 Realtime-VLA 优化端到端在线推理：

• CUDA Graph 消除 CPU 调度开销
• 客户端预 resize、图像编解码 WebP95 → JPEG90
• 通信 WebSocket → ZMQ

效果：端到端单轮推理时延降低约 50ms。

RL 后训练

在 FlowerVLA SFT 权重后接 ConRFT 强化学习微调，设计人在环路流程（SFT → 离线 RL → 在线 RL），结合 BC 与 Q-learning 双重 loss、人类干预与稀疏奖励，构建 reward model 与真机 rollout 评测闭环，显著提升抓取/推动任务成功率与错误恢复能力。

HIL-SERL 复现与真机人在环 RL

复现 HIL-SERL（human-in-the-loop sample-efficient RL），在 Franka 上完成圆柱插槽 / pick-and-insert 任务的真机训练与消融：

• 系统研究 critic/actor 更新频率、人工介入时机与观测坐标系（绝对 / 相对）对收敛、熵坍塌与策略遗忘的影响；发现前期需要较多成功干预来正确引导 critic，且人工介入越”丝滑”、策略动作振荡越小。
• 在圆柱插槽任务上训练约 60k 步（2.5–3h）达到 97/106（90%+） 成功率，验证了人在环教学显著提升成功率、以及模型能从失败中学习（首次失败后第二次多能自主完成）。
• 开展泛化性对比实验（相邻孔位插入干扰圆柱 / 连接件、封孔、更换工作台背景等），量化 HIL-SERL 的泛化边界（对背景变化与第一孔干扰较敏感）。

HIL-SERL 真机强化学习复现（Franka 圆柱抓取-插孔）

复现 HIL-SERL（Human-in-the-Loop 样本高效强化学习）框架，在 Franka 机械臂上完成圆柱抓取-插孔任务的真机人在环训练：

• 圆柱插孔成功率 97/106（≈90%+），单任务训练总耗时约 2.5–3 h（60k+ 步）。
• 系统研究 critic/actor 更新频率、人工干预时机与强度对 Q 值收敛、熵坍塌与泛化的影响；发现”前期多给成功干预、正确引导 critic”是稳定收敛的关键。
• 关键结论：人在环干预能有效提升成功率——对未见情形只需多示教几次即可转为无需干预；模型具备从失败中学习、二次尝试自主纠正的能力。

泛化性对比实验

在其它孔位塞入圆柱/连接件、封孔、更换背景等干扰下测试策略泛化性：