arXiv Artificial Intelligence· Yuxuan Liu·· 18 小时前AI 评分36
First Passage Attention:用路径极值替代路径求和的新型注意力机制
First Passage Attention
AI 导读
研究者提出 First Passage Attention(FPA),将注意力中遗忘门的路径求和改为路径极值,按学习到的标量场在关键跨度内的最深下探幅度成比例降低 key 的 logit,从而选择性擦除中间上下文而保留较早的结构相关 token。
来源:arXiv Artificial Intelligence · arxiv.org