arXiv Artificial Intelligence· Claire Schlesinger, Wolfgang Gatterbauer, Robin Walters·· 18 小时前AI 评分22
如何度量学习到的等变性:一种信息论方法
Measuring Learned Equivariance: An Information Theoretic Approach
AI 导读
研究提出用归一化互信息(NMI)检验网络是否真正学到对称性:在有限离散设定下,等变性要求原始输入与变换输入的表示能相互唯一确定。针对高维激活,采用中心核对齐(CKA)作为可扩展检验,并对正交特征变换给出精确保证。跨架构与任务实验显示,数据增强通常提升变换一致性,说明可直接从表示中探测学习到的等变性,无需还原隐藏的变换规则。
来源:arXiv Artificial Intelligence · arxiv.org