arXiv Artificial Intelligence· Aly Magassouba·· 19 小时前AI 评分30
Screw Attention:在 Transformer 内引入刚体代数
Screw Attention: Rigid-Body Algebra Inside a Transformer
AI 导读
Screw Attention 是一种 Transformer 层,将两个物体间的关系表示为空间变换而非图边,每对 token 携带相对位姿,机器人关节还携带关节螺旋,消息沿该关系传输到接收方坐标系,注意力分数只看到坐标系不变量。
来源:arXiv Artificial Intelligence · arxiv.org