arXiv Artificial Intelligence· Alexey Zemtsov, Albina Klepach, Vadim Lomshakov, Andrei Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Vladislav Kurenkov, Alexander Nikulin·· 20 小时前AI 评分22
循环 Transformer 的块状共形注入:让循环步骤间的状态可追踪
Rotate the Loop: Blockwise Conformality for Looped Transformers
AI 导读
研究提出块状共形注入(blockwise conformal injections),将循环 Transformer 的残差拆分为坐标对齐的组并在各组内旋转,使每组拥有独立时间尺度而组内几何保持精确。
来源:arXiv Artificial Intelligence · arxiv.org