arXiv Computer Vision· Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan, Haodong Li, Wenyu Liu, Xinggang Wang·· 4 小时前AI 评分50
离散 token 能否作为视觉信号的语义无损表示
Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
AI 导读
arXiv 论文质疑量化误差必然导致语义损失这一常见假设，发现量化误差更大的离散表示反而能取得更好的多模态理解效果，有效比特预算才是下游表现的关键因素。作者提出 Factorized Vector Quantization，用对称并行码本量化视觉特征的互补固定维度视图，在更大比特预算下持续提升，最终在多模态理解上追平连续视觉表示。
来源：arXiv Computer Vision · arxiv.org