arXiv Artificial Intelligence· Peter Cho-Ho Lam, Ziyi Wang, Zirui Zhou·· 2 小时前AI 评分34
研究证明预训练 Transformer 存在可计算前缀以控制任意输出序列
Prefix-Tuning for Arbitrary Output Sequences on Pretrained Transformers
AI 导读
研究者证明:只要目标输出 y 位于预训练 Transformer 的值域内,就存在前缀 S 使模型在输入 x 前加上 S 后生成 y,且 S 可通过求解多个线性系统显式计算;该假设也是必要的,假设不成立时前缀可能不存在。在 GPT-2 和 Qwen3-4B 上的实验显示该算法生成的前缀对模型输出有较强控制力,论文已被 NeurIPS 2026 接收。
来源:arXiv Artificial Intelligence · arxiv.org