Stackelberg博弈对齐偏好模型方法提出

2026年10月14日，arXiv Artificial Intelligence 刊出 Riccardo Formenti 等作者的论文，提出用 Stackelberg 博弈搜索偏好模型分歧以改进对齐的方法。该研究把寻找会使偏好模型反转真实偏好的比较样本，建模为 Leader 与 Follower 之间的零和 Stackelberg 博弈：Leader 试图最小化分歧，Follower 试图最大化分歧，并以偏好模型集成的不一致度作为预测误差的代理。作者提出两时间尺度算法 SMIDA，在表格设定下具备线性 last-iterate 收敛，并给出神经策略梯度版本。实验显示，训练出的策略在留出数据上优于参考策略，提升了超过不一致度阈值且反转 oracle 偏好的比较比例。目前进展停留在论文发表与实验层面，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。