跳到正文
arXiv Artificial Intelligence· Prakhar Gupta, Terry Jingchen Zhang, Zhijing Jin·· 2 小时前AI 评分32

一致性训练抑制模型跟随提示线索,但未教会其辨别线索对错

Consistency Training Suppresses Cue Following Without Teaching Cue Selectivity

AI 导读

一致性训练(CT)能让模型在有无线索时给出相同答案,研究在 Gemma-2-2B-it 和 Llama-3.1-8B-Instruct 上训练了 BCT、ACT、AttCT、RMCT 四种方法,均削弱了训练线索的影响。

来源:arXiv Artificial Intelligence · arxiv.org