arXiv Computer Vision· Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang·· 2 小时前AI 评分22
FiGMo:用语言模型实现细粒度人体动作理解
Fine-grained Human Motion Understanding with Language Models
AI 导读
FiGMo 是一个基于 LLM 的动作理解模型,将动作表示为带时间戳的骨骼姿态,可对动作顺序与时长进行推理。其统一姿态编码器同时支持 2D 和 3D 骨骼(含真实视频检测姿态),RGB 可选作上下文。在动作问答、密集动作描述和动作识别上取得 SOTA,时间戳提升了时间定位并在子采样下保留物理时序。
来源:arXiv Computer Vision · arxiv.org