跳到正文
arXiv Artificial Intelligence· Varun Reddy Nalagatla, Madhavi Evana, Yiwen Zhang·· 3 小时前AI 评分42

Bag of Dims(BoD):无需训练的 Transformer 原始维度符号模式检测与控制

The Signs Were Always There: Training-Free Detection and Control in Raw Transformer Dimensions

AI 导读

研究者提出 Bag of Dims(BoD),直接读取 Transformer 残差流每个维度的符号,把符号一致的一组维度视为一个概念,无需训练或标注即可在每个模型中发现数万至数十万个概念。

来源:arXiv Artificial Intelligence · arxiv.org