跳到正文
arXiv Artificial Intelligence· Man Liang, Xinzhao Cheng, Faizan Wajid·· 17 小时前AI 评分31

冻结 LLM 的几何约束审计:可解码但不可行动的表征-行为鸿沟

Decodable but Not Actionable: Auditing the Representation-Behavior Gap in Frozen LLMs for Geometric Constraints

AI 导读

一项基于参数化 CAD 的受控审计框架将 LLM 处理几何约束的失败区分为编码、表达与激活级控制三类,并在八个预训练模型及匹配的随机初始化对照上验证。预训练对局部关系的线性解码贡献远大于全局约束状态,后者在随机表征中已高度可解码,但强局部可解码性并未转化为零样本预测,仍远低于监督探针表现。仅用 400 对标注关系做低秩微调即可在三个代表性模型上显著改善生成,说明该表征-行为鸿沟可通过适配缩小。

来源:arXiv Artificial Intelligence · arxiv.org