arXiv Artificial Intelligence· Constantinos Karouzos, Nikolaos Aletras·· 13 小时前AI 评分29
LambdaMix：可 steer 的多目标组相对偏好优化，联合训练低秩适配器
Steerable Multi-Objective Group-Relative Preference Optimization with Jointly Trained Low-Rank Adapters
AI 导读
LambdaMix 是一种参数高效方法，用组相对在线强化学习在冻结基座上为每个目标联合训练一个低秩适配器，由偏好向量选择适配器混合并加权归一化奖励，单次训练即可在推理时切换偏好。
推荐理由模型分析
LambdaMix 针对固定目标权重只能得到一个策略的局限，用组相对在线强化学习联合训练多个低秩适配器，推理时由偏好向量选择适配器混合并加权奖励，一次训练即可切换偏好。在有用性/无害性和数学解题兼顾指令两类任务上，四个模型的超体积均高于所比较的条件化与策略合并基线，且训练补全更少、适配器参数少于一组 GRPO 专家策略。适合关注多目标对齐与参数高效后训练的开发者参考，但结论限于论文实验设置，尚未经部署验证。
来源：arXiv Artificial Intelligence · arxiv.org