arXiv Computer Vision· Mahmoud Mannes, Nikhil Maturi, Parva Mehta, Jiwon Jeong, Aravind Singaram Kannappan·· 20 小时前AI 评分27
Vision Transformer 如何表征位置：APE 与 RoPE 的机制对比
How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings
AI 导读
研究对比了 Vision Transformer 中绝对位置嵌入（APE）与旋转位置嵌入（RoPE）的内部机制：APE 将位置存为显式特征，RoPE 则在注意力中构建位置信息，并在被遮蔽时重建。
来源：arXiv Computer Vision · arxiv.org