让机器人主动提问：面向欠指定奖励的定向主动偏好学习

针对人类示教只能部分覆盖任务特征、导致奖励欠指定的问题，研究者提出把纠错负担从人转移到机器人：利用示教数据中暴露的监督薄弱特征构建先验，将偏好查询定向到这些特征，并为每次查询附上解释以聚焦人的注意力。仿真中该先验在低查询量场景下比标准主动偏好学习基线最高提升 30.8%，用户研究显示先验与解释各自显著改善奖励恢复且相互放大。该工作已被 CoRL 2026 接收。