arXiv Artificial Intelligence· Saranya Dintakurthy Swadha, Pavan C Shekar, Arpit Jain, Aswanth Krishnan·· 13 小时前AI 评分40
从 LoRA 到语言：从适配器中还原技能文档
From LoRA to Language: Recovering Skill Documents from Adapters
AI 导读
研究尝试从 LoRA 适配器及其冻结基座模型中还原技能文档，并用关键指令覆盖率和任务解决率评分。在适配模型上训练的 Executing Writer 可恢复留出技能 39-44% 的关键指令，而换用其他技能的适配器仅 1.3-1.5%；对 41 个外部技能拟合的适配器，其文档恢复原任务增益的 85-91%。
推荐理由模型分析
该研究针对技能文档编译为LoRA后不可读、难审计的问题，尝试从适配器与冻结基座反向恢复技能文本。结果显示执行适配器比直接读权重有效得多：训练写入文档的适配器可恢复39-44%关键指令，外部技能上恢复85-91%任务增益；仅学行为的适配器则难得多。做模型可解释性、适配器审计或跨模型技能迁移的开发者，可据此判断恢复路径的适用条件与证据边界。
来源：arXiv Artificial Intelligence · arxiv.org