arXiv Artificial Intelligence· Xupeng Chen, Chenqian Le, Jiayi Cheng, Runhao Li, Michael Yue·· 19 小时前AI 评分22
Qwen3-1.7B 上 SFT 在激活几何中留下可复现特征：面向运行间噪声校准后训练可解释性
SFT Leaves a Reproducible Signature in Activation Geometry: Calibrating Post-Training Interpretability Against Run-to-Run Noise
AI 导读
在 Qwen3-1.7B 的稀疏共激活图上，两次 LoRA-SFT 重跑之间的距离超过各自与基座距离的一半，说明模型 diff 不能默认重跑会落在附近。base→SFT 的图位移达四次独立 LoRA-SFT 运行平均距离的 17.8 个成对距离标准差，该预注册估计器在 Llama-3.1-8B 上用 Llama-Scope 复现。
来源：arXiv Artificial Intelligence · arxiv.org