Apple 首次从零预训练三模态掩码扩散模型，3B 规模验证统一设计

Apple 提出首个从零预训练的三模态掩码扩散模型（MDM），在文本、图文和音频-文本数据上统一训练，并系统分析多模态缩放规律、模态混合比例、噪声调度与批大小影响。其基于 SDE 的重参数化将物理批大小与逻辑批大小解耦，免去最优批大小调参。初步模型在 3B 规模、6.4T token 下于文本生成、T2I 和 T2S 任务均取得强劲结果。