用 JEPA 证明并改进柏拉图表示假说

研究者提出柏拉图表示定理：只要正样本对是同一场景的两次观测（good views），分别在任何数量模态上训练的 JEPA 学到的表示仅相差一个旋转。实验显示 good views 达到同等对齐所需训练样本比下一 token 预测少 42 倍，109M 参数的文本 JEPA 对齐 DINOv2 和 CLIP 图像编码器的效果优于所有评测的语言模型（最大 72B 参数）。