Suan：在大语言模型中矫正直接偏好安全对齐

研究者提出偏好优化算法 Suan，将优化目标直接建立在梯度层面、绕过标准变分推导，从而获得更可解释且更稳健的训练动态。在多种竞争性基线和方法与基准上的广泛评估显示，Suan 在实现更优安全对齐的同时完整保留了回复的实用性。该工作针对开放权重模型后训练中常见的过度拒答与通用质量下降问题。