arXiv Robotics· Amit Jadhav·· 5 小时前AI 评分26
将猕猴前运动皮层几何结构施加于机器人动作词表:Brain-Aligned Latent Actions
Brain-Aligned Latent Actions: Imposing Premotor Cortex Geometry on a Robot's Action Vocabulary
AI 导读
研究将猕猴腹侧前运动皮层(PMv)的表征几何通过直通相似性损失施加到 Moto 潜在动作 tokenizer 的编码分配上,在五个未参与训练的形状类别上达到 0.52 的 PMv 表征相似度,而已发布 tokenizer 和无先验 tokenizer 仅为 0.20-0.26,随机运动学编码器 95 分位为 0.42。
推荐理由模型分析
论文先量化了潜在动作分词器码分配的不稳定:两次独立训练调整兰德指数仅0.001,bf16与fp32间74%的token被重分配;再尝试用猕猴PMv表征几何约束码本,在未见形状类别上把相似度提到0.52。但手选运动学描述子(0.65)和标签打乱的对照(0.41)削弱了结论,且下游CALVIN操作实验尚未给出,读者可据此判断该对齐方法的证据边界。
来源:arXiv Robotics · arxiv.org