研究揭示 Omni-LLM 的"知道却说不出"现象，提出 OmniCatalyst 提升 7.29%

研究发现全模态大语言模型（Omni-LLM）即使正确感知非文本模态信息，也常无法表达，研究者将其命名为"知道却说不出"。为此提出 Token-level Modality Alignment（TMA）度量模态表示与回复表示的对齐程度，并据此设计 OmniCatalyst 的"感知→推理"策略，用自生成文本补充原始模态输入。