arXiv Artificial Intelligence· Varun Reddy Nalagatla, Madhavi Evana, Yiwen Zhang·· 3 小时前AI 评分42
Bag of Dims(BoD):无需训练的 Transformer 原始维度符号模式检测与控制
The Signs Were Always There: Training-Free Detection and Control in Raw Transformer Dimensions
AI 导读
研究者提出 Bag of Dims(BoD),直接读取 Transformer 残差流每个维度的符号,把符号一致的一组维度视为一个概念,无需训练或标注即可在每个模型中发现数万至数十万个概念。
来源:arXiv Artificial Intelligence · arxiv.org