arXiv Artificial Intelligence· Yue Wu, Yang Zhang, Weinan Gan, Chongming Gao, Xinsen Guo, Xiaoyuan Li, Fuli Feng·· 19 小时前AI 评分31
Select-TTT:面向 In-Place TTT 的查询条件选择性快速权重更新
Select-TTT: Query-Conditioned Selective Fast Weight Updates for In-Place Test-Time Training
AI 导读
Select-TTT 提出一种模型无关、按查询条件调节 In-Place TTT 写入强度的规则,用模型冻结输出头给出的分块隐藏状态对查询 token 的概率质量作为相关性信号,无需监督和新参数,经温度缩放 softmax 转为学习率乘子。
来源:arXiv Artificial Intelligence · arxiv.org