arXiv Artificial Intelligence· Ruben Hammele, Samira Huber, Mohammad Nazeri, Amirreza Payandeh, Alexandyr T. Card, Aaron Nguyen, Anuj Pokhrel, Daeun Song, Xuesu Xiao, S\"oren Pirk·· 17 小时前AI 评分34
π₀.₅ 在 BEHAVIOR-1K 上的推理设置配对评估：哪些策略真正有效
What Actually Matters? A Paired Evaluation of Inference Settings for $\pi_{0.5}$ on BEHAVIOR-1K
AI 导读
研究对基于 2025 BEHAVIOR Challenge 冠军方案微调的 π₀.₅ 模型做了全 100 项任务的配对评估，该模型在公开测试集上 Q-score 为 0.39。结果显示，此前在小规模场景中提出的推理与数据采集策略并不能均匀迁移到新环境和新任务。
来源：arXiv Artificial Intelligence · arxiv.org