跳到正文
arXiv Artificial Intelligence· Dmitry Scherbakov, Oleg Chernikov, Victoria Khamash, Kirill Afendulev, Alexey Dontsov, Ivan Oseledets, Elena Tutubalina, Anton Korznikov·· 2 小时前AI 评分36

从故事到特征向量:面向 AI 对齐与可解释性的概念向量规模化

From Stories to Features: Scaling Concept Vectors for AI Alignment & Interpretability

AI 导读

研究者用合成概念-对立故事对的模型激活均值差构建特征向量,覆盖 1,036 个对齐相关概念、2M 条多语言多体裁合成故事并公开数据集。在三个模型家族的六个模型上,这些特征向量能可靠泛化到聊天对话和网页文本中的概念检测,形成跨模型共享的可解释几何结构,注入激活后可因果引导模型行为。该方法还被用于分析越狱攻击及数学与智能体推理过程中的模型表征。

来源:arXiv Artificial Intelligence · arxiv.org