跳到正文
arXiv Artificial Intelligence· Daking Rai, Mor Geva, Ziyu Yao·· 18 小时前AI 评分24

面向语言模型可解释性的数据驱动电路发现(DCD)

Data-driven Circuit Discovery for Interpretability of Language Models

AI 导读

现有电路定位方法假设同一任务的所有样本由同一机制实现,会忽略任务内的机制多样性。作者提出数据驱动电路发现(DCD),在发现前增加分组步骤,并用基于逐样本归因模式的聚类(DCD-Cluster)实现。在四个任务和三个模型上,DCD-Cluster 将数据集分解为多个子集,其电路呈现不同的忠实度模式。

来源:arXiv Artificial Intelligence · arxiv.org