提出免训练投影器初始化方法PORTAL

2026年10月15日，arXiv Artificial Intelligence 刊出 Fabian Gröger 等作者的论文，对多模态 LLM 的 projector 训练进行再审视。研究指出，projector 训练只需 10% 到 20% 的数据即可恢复大部分下游性能；不同数据集训练的 projector 可线性插值而性能基本保持，表明该阶段主要完成粗对齐。基于这些发现，作者提出免训练投影器初始化方法 PORTAL，该方法既不需要成对的图像-描述数据，也不需要基于梯度的优化，仅依赖各模态的汇总统计量。目前报道仅涉及方法提出与上述实验观察，未提及后续验证或应用进展。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。