modded-nanoRT：关系型 Transformer 预训练速度跑分榜

研究者推出 modded-nanoRT，首个面向关系型 Transformer 的预训练速度跑分榜，以单卡达到质量目标的实际耗时排名。其配方结合类型化三线性注意力、Muon 与 SIGReg，在单块 NVIDIA H200 上以 305.63 秒达标，比参考实现快 8.11x，并在开发数据库之外的 15 组对比中赢下 13 组。团队将发布基准、冻结产物与纪录运行。