软提示调优实现LLM自动化评测

2026年10月23日，arXiv Artificial Intelligence 刊出 Selen Erkan 等作者的报道，提出一种基于软提示调优的自动化模型评测方法，用于解决 LLM 基准评测中的格式遵循问题。报道称，该方法仅优化 10 个软提示向量（7B 模型约 0.0006% 参数），即可让模型适配特定 benchmark 格式，避免基准分数因格式遵循能力不足而低估模型知识。在 7 个模型和 11 个数据集上，该方法约 150 步（约 1200 样本）即饱和格式遵循能力，在成熟基准上接近强评测框架基线，并在长上下文数据集和输出风格不同的指令微调变体上改善评测信号。目前该事件仅有这一篇主报道，尚无跟进报道，也未出现数字或说法上的前后矛盾。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。