arXiv Artificial Intelligence· Thanh Q. Tran, John Russell Himawan, Arun Verma, Kiwan Wong, Wei Xiao, Daniela Rus, Bryan Kian Hsiang Low·· 4 小时前AI 评分31
DIAL:用蒸馏指令遵循等级实现可控语言模型
DIAL: Steerable Language Models with Distilled Instruction-Adherence Levels
AI 导读
DIAL 通过冻结 LLM 的无分类器引导(CFG)生成训练信号,对不同指令遵循等级做在策略蒸馏,并用轻量级引导适配器对隐藏状态分类、按目标等级逐 token 计算闭式引导编辑。该适配器以文本为条件,共享同一适配器即可支持新指令,无需逐指令拟合。团队还发布仅含指令的 SteerIF 数据集,共 98,625 条概念、人格、可验证与描述性指令;多模型族评测中概念得分随遵循等级单调上升。
来源:arXiv Artificial Intelligence · arxiv.org