Mind the Tail：通过稀疏概念进行数据选择

研究提出用稀疏自编码器（SAEs）从单张图像提取概念激活，在选择时累积数据集级概念支持度，并对该分布施加递减回报以降低已充分表征概念的权重、转向分布尾部，再结合局部支持度筛选能可靠强化欠支持概念的样本。在细粒度、虚假相关和通用图像分类及多模态预训练基准上，该方法一致优于强数据选择基线，并提升了模型对分布外和虚假上下文的鲁棒性。