跳到正文
arXiv Computer Vision· Benyuan Meng, Longtao Huang, Yang Liu, Liang Lin·· 20 小时前AI 评分24

研究称 Diffusion Transformer 主干深度曲线的既有解读有误

We Have Been Interpreting Diffusion Transformer Backbone Behaviors Wrong

AI 导读

针对扩散主干网络前向过程中间激活随深度呈倒 U 型曲线的现象,该研究提出新解释:预测目标(如 ε、u、x₀)才是主干的核心,语义信号只是预测目标的中间副产物,且训练设置中预测目标的选择可预测地影响曲线形状。基于此,可根据训练设置的预测目标预测 REPA 的近最优插入位置,代码已公开。

来源:arXiv Computer Vision · arxiv.org