WAQS：可吸收进线性层的二次探针引导框架

2026年10月20日，arXiv 人工智能板块刊出由 Ding Zhu 与 Mohammad Mahdi Khalili 提出的 WAQS（Weight Absorption for Quadratic probing and affine Steering）框架。该框架通过二次探测获得依赖输入状态的激活引导，其梯度给出仿射引导方向，并可在离线权重更新中精确折叠进相邻线性层，从而不增加推理时计算。作者证明，二次函数是使梯度干预为仿射、因而可被线性层精确吸收的最大平滑概念评分类，并用低秩参数化将其扩展到高维表示。在真实性、拒答与谄媚引导任务上，二次引导达到或优于恒定线性引导，同时保持模型效用。目前报道仅介绍该框架的方法与实验结果，未提及开源代码、模型规模或部署限制等后续进展。

AI 根据报道生成 · 44 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。