跳到正文
arXiv Artificial Intelligence· Zichun Hao, Raghav Kansal, Abhijith Gandrakota, Chang Sun, Haoyang Li, Zihan Zhao, Ngadiuba Jennifer, Javier Duarte, Maria Spiropulu·· 18 小时前AI 评分27

RINO:基于重整化群的无标签自蒸馏预训练方法

RINO: Renormalization Group Distillation with No Labels

AI 导读

研究者提出 RINO(Renormalization Group DIstillation with NO Labels),首次利用高能喷流形成的多尺度重整化群结构作为自监督学习的视图来源,通过不同层级聚类定义跨能量尺度的教师-学生表示,并用 DINO 风格自蒸馏对齐。

来源:arXiv Artificial Intelligence · arxiv.org