跳到正文
arXiv Artificial Intelligence· Debabrata Mahapatra, Shubham Agarwal, Apoorv Saxena, Subrata Mitra·· 20 小时前AI 评分27

RCStat:用相对情境化统计框架量化 Transformer 注意力影响

RCStat: A Statistical Framework for using Relative Contextualization in Transformers

AI 导读

RCStat 是一个量化注意力机制中上下文影响的统计框架,其核心相对情境化(RC)随机变量衡量一组 token 对另一组 token 的贡献强度,可在推理时估计且无需重新训练。

来源:arXiv Artificial Intelligence · arxiv.org