跳到正文
arXiv Artificial Intelligence· Mitchell Ostrow, Daoyuan Qian, Toni Liu, Ila Fiete·· 2 小时前AI 评分34

Jacobian lens 的数学理论:解释 J-lens 为何偏好连贯特征

A Mathematical Theory of the Jacobian Lens

AI 导读

研究提出 Jacobian lens(J-lens)的数学理论,证明该工具优先识别连贯特征——即类似主导的、空间连贯的 Lyapunov 模式的方向,沿这些方向的微小扰动会跨层放大、在 token 位置上大致恒定且跨上下文一致。作者在贝叶斯滤波器与玩具 Transformer 上验证分析,并引入可强调不同时间尺度信息处理的 ω-J-lens 系列。

来源:arXiv Artificial Intelligence · arxiv.org