孟加拉语图像描述跨注意力补丁对齐方法

2026年10月15日，arXiv Computer Vision 刊出 Riad Ahmed Anonto 等作者的论文，提出一种面向孟加拉语的图像描述流水线。据该报道，方法在 LaBSE 验证的英语—孟加拉语（EN-BN）句对与 11 万张双语提示合成图像上训练，使用冻结的 MaxViT 提取视觉 patch，由孟加拉语原生 mBART-50 解码，并以轻量桥接层连接两种模态。论文称其核心创新为三重损失目标：Patch-Alignment Loss（PAL）利用解码器交叉注意力对齐真实与合成 patch 描述子，InfoNCE 实现全局真实—合成分离，基于 Sinkhorn 的最优传输保证均衡的细粒度 patch 对应。目前报道仅涉及方法提出与训练设置，未提及评测结果或后续进展。

AI 根据报道生成 · 35 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。