arXiv Computer Vision· Saeed Razavi, Xingjian Leng, Liang Zheng·· 4 小时前AI 评分24
RECON:用表示条件化加速扩散 Transformer 训练
Representation Conditioning for Generation
AI 导读
研究提出表示条件化(RECON),在训练时把预训练视觉编码器的 token 送入扩散 Transformer 的后层,推理时复用原本被丢弃的 MLP 投影头作为视觉编码器代理,将输出 token 投影到后层,从而改善后层语义。该方法不增加参数,收敛速度比 SiT 快 63 倍、比 REPA 快 25 倍。
来源:arXiv Computer Vision · arxiv.org