在根树算术序列上测试 Transformer 的可学习性

研究用 GPT-2 架构从零训练，学习自然数迭代素因数分解生成的根树序列，在前 10^11 个元素上训练后词准确率约 0.4，明显高于隐马尔可夫模型基线。模型在 10^13–10^15 的测试块上性能保持稳定，远超训练区间。其似然还能将算术文本与保留边际词频但打乱顺序的合成序列区分开，且区分度随上下文增大。