Prompt-TIES 与 Prompt-DARE：用梯度合并提升语言模型提示词鲁棒性

针对大语言模型对提示词措辞高度敏感的问题，研究者提出 Prompt-TIES 和 Prompt-DARE 两种梯度合并方法，将模型与梯度合并中的干扰消解算子用于提示词梯度。实验发现提示词措辞与具体样本的交互平均占单样本方差的 54%，在 ANLI、WiC 等任务上超过 70%；两种方法在几乎不损失整体准确率的情况下，将全量微调模型的单样本方差近乎减半。