arXiv Artificial Intelligence· Chris von Csefalvay, Pranav Doma, Achyuthan Unni Krishnan, Tam\'as F\"oldi·· 13 小时前AI 评分40
IWIBench：评估无梯度模型驱动的权重内注入
IWIBench: Evaluating Gradient-Free Model Driven Intra-weight Injection
AI 导读
IWIBench 用于评估大编辑模型直接修改小目标模型（通常为 Gemma 3 4B IT）权重、实现十类文本编辑目标并保留其他能力的效果。评测中 Astra 与 GPT-6.1 Sol 明显领先，GPT-5.6 Sol 几乎不具备该能力，结构化响应任务全部失败，别名习得与重编码最易成功。各任务成功率相关性低，显示该能力前沿尚早且不均衡。
推荐理由模型分析
该工作提出 IWIBench，首次为“权重内注入”建立系统评测：让大模型在限定工具、张量访问范围和预算下直接改写小模型（如 Gemma 3 4B IT）的权重，以完成十类文本编辑目标并检验其他能力是否保留。结果显示模型与任务间差异明显，结构化输出几乎全部失败，别名获取与重编码较易成功，说明该能力尚处早期且不均衡。关注无梯度模型行为修改、模型编辑与评测的研究者，可据此比较基线并判断任务适用边界。
来源：arXiv Artificial Intelligence · arxiv.org