arXiv Artificial Intelligence· Zhankai Ye, Bofan Li, Yukai Jin, Shuoqiu Li, Wei Wang, Yanfu Zhang, Shangqian Gao, Xin Liu·· 19 小时前AI 评分24
GeoMotionGPT:用大语言模型实现几何对齐的动作理解
GeoMotionGPT: Geometry-Aligned Motion Understanding with Large Language Models
AI 导读
GeoMotionGPT 提出一种几何对齐框架,对动作码本与 LLM 嵌入空间同时施加正交性约束,使两者的关系结构自然对应。该方法采用带 Gumbel-Softmax 的 decoder-only 量化器实现可微训练与码本均衡使用,并通过稀疏投影将动作码映射进 LLM 嵌入空间,配合两阶段正交正则化在 tokenizer 训练和 LLM 微调中维持几何对齐。
来源:arXiv Artificial Intelligence · arxiv.org