偏好模型可信吗？用 Stackelberg 博弈做对齐

研究把寻找偏好模型会反转真实偏好的比较样本，建模为 Leader 与 Follower 之间的零和 Stackelberg 博弈，并以偏好模型集成的不一致度作为预测误差的代理。作者提出两时间尺度算法 SMIDA，在表格设定下具备线性 last-iterate 收敛，并给出神经策略梯度版本。实验显示，训练出的策略在留出数据上优于参考策略，提升了超过不一致度阈值且反转 oracle 偏好的比较比例。