arXiv Computer Vision· Benyuan Meng, Longtao Huang, Yang Liu, Liang Lin·· 20 小时前AI 评分24
研究称 Diffusion Transformer 主干深度曲线的既有解读有误
We Have Been Interpreting Diffusion Transformer Backbone Behaviors Wrong
AI 导读
针对扩散主干网络前向过程中间激活随深度呈倒 U 型曲线的现象,该研究提出新解释:预测目标(如 ε、u、x₀)才是主干的核心,语义信号只是预测目标的中间副产物,且训练设置中预测目标的选择可预测地影响曲线形状。基于此,可根据训练设置的预测目标预测 REPA 的近最优插入位置,代码已公开。
来源:arXiv Computer Vision · arxiv.org