arXiv Artificial Intelligence· Mikhail Aleksandrov, Nail Bashirov, Maksim Ivanov, Andrew Tsukanov, Timofey Karyagin, Alexander Miasnikov, Gleb Molodtsov, Valentin Samokhin, Aleksandr Beznosikov·· 19 小时前AI 评分22
并非所有漂移都是机制：追踪 LLM 中的提示词适配
Not All Drift Is a Mechanism: Tracing Prompt Adaptation in LLMs
AI 导读
研究对比了离散提示词优化、prompt tuning 与 prefix tuning 对稠密模型和 MoE 语言模型内部计算的影响，发现适配位置决定任务信息如何传递到输出：优化文本主要改变响应构建，输入级提示词将影响写入内容表征，逐层 prefix 则通过注意力维持直接控制，在 MoE 模型中还引发不同的专家路由模式。
来源：arXiv Artificial Intelligence · arxiv.org