FON双器官语言模型论文发布

2026年10月14日，Helong Hu等研究者在arXiv（Artificial Intelligence）发布论文，提出FON（Fusion-Organ Network）双器官语言模型。该模型将同一权重栈分化为两个器官：起草器官采用多抽头可学习延迟与内容自适应递归，具备因果性、O(S)训练、O(1)解码状态，且无需序列级二次注意力；修订器官则通过弱门控注入的多尺度涟漪核重处理已写前缀，自身不生成内容。论文报告，在30M参数、等参数与等token预算下，FON在WikiText-103上困惑度为131.03，优于Transformer（197.73）和Mamba2（152.53），该优势在所有深度对齐基线及70M规模（-20.8%）下持续。在8倍长度外推下，未做位置编码工程时FON退化约8-9%，介于ALiBi与RoPE之间。修订通道为因果架构原则上缺乏的域内填充提供了结构性路径（较按需耦合提升19%），困惑度代价在测量精度内不可区分。论文同时报告了代价与边界：长程检索受损、合成任务劣势、域外代码填充弱于同配方Transformer，以及6.5-12.3倍的墙钟时间差距。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。