arXiv Computer Vision· Konstantinos Almpanakis, Anna Kreshuk·· 4 小时前AI 评分22
面向联合嵌入自监督学习的数据集级正则化方法
Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning
AI 导读
研究者提出 out-of-batch 正则化，在 CPU 内存中维护数据集级状态，并在小批次训练时使用全局构建的逐实例目标。在自然图像和生物医学数据集上，该方法比传统小批次估计更忠实地逼近全数据集正则化梯度。应用于 SimCLR 和 SIGReg 后，在图像分类、受控不平衡下的少数类性能、实例检索和持续自监督预训练上均取得一致提升，小批次时增益最大。
来源：arXiv Computer Vision · arxiv.org