arXiv Artificial Intelligence· Roberto I. Ono Filho·· 1 天前AI 评分31
推理时干预与权重整合在开放式生成中能带来什么:让均值靠向已知优解而非超越
Moving the Mean Toward the Known Good, Not Beyond It: What Inference-Time Interventions and Weight Consolidation Buy in Open-Ended Generation
AI 导读
在在线装箱任务的生成-验证-选择-LoRA 整合循环中,用价值过滤后的候选训练可将模型在留出变体上的输出推向经典启发式水平(超额 -1.7 点,p=0.008;相对随机整合对照 -3.1,p=0.004),但最优观测候选仅收敛到经典启发式水平、未再超越。
来源:arXiv Artificial Intelligence · arxiv.org