跳到正文
arXiv Artificial Intelligence· Wang Ru·· 18 小时前AI 评分31

高斯先验何时失效?RL 微调的潜空间几何研究

When Do Gaussian Priors Fail? A Latent Geometry Investigation of RL Fine-Tuning

AI 导读

研究指出,潜扩散模型普遍在 VAE 潜空间使用高斯先验,但在强化学习微调下存在结构性局限:KL 项会惩罚模态分离与紧致性,多模态数据被压缩进重叠潜空间。在真实丙氨酸二肽玻尔兹曼分布上,高斯先验 VAE 在 beta_c = 0.224 崩溃,而模态跟踪的高斯混合先验在 0.00316 崩溃,同一流程相差 71 倍。

来源:arXiv Artificial Intelligence · arxiv.org