跳到正文
arXiv Artificial Intelligence· Alexey Zemtsov, Albina Klepach, Vadim Lomshakov, Andrei Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Vladislav Kurenkov, Alexander Nikulin·· 20 小时前AI 评分22

循环 Transformer 的块状共形注入:让循环步骤间的状态可追踪

Rotate the Loop: Blockwise Conformality for Looped Transformers

AI 导读

研究提出块状共形注入(blockwise conformal injections),将循环 Transformer 的残差拆分为坐标对齐的组并在各组内旋转,使每组拥有独立时间尺度而组内几何保持精确。

来源:arXiv Artificial Intelligence · arxiv.org