跳到正文
arXiv Artificial Intelligence· David Harwath, Desh Raj, Xavier Velez, Sandra Arcos-Holzinger, Willie Jeng, Karen Livescu, Leibny Paola Garcia-Perera, Sanjeev Khudanpur·· 2 小时前AI 评分34

无编码器多模态 LLM 学会隐式编码器:Gemma-4 12B 与 Inkling-Small 分析

Encoder-Free Multimodal LLMs Learn Implicit Encoders

AI 导读

研究实证分析了 Gemma-4 12B 和 Inkling-Small 两个无编码器多模态 LLM,它们不依赖模态专用编码器,而是直接把音频采样、像素或频谱特征窗口输入 Transformer 语言模型。

来源:arXiv Artificial Intelligence · arxiv.org