Nemotron-3-Nano-30B-A3B 印度语词表扩展与持续预训练

2026年10月15日，Avinash Benki 等作者在 arXiv 发表论文，报告对 Nemotron-3-Nano-30B-A3B 进行印度语适配。研究在不改动主干架构的前提下，将词表从 131,072 原地扩展至 163,072，采用持续 BPE 与 AdaptMix 重平衡，使每词 token 数减少 38.6%。随后进行持续预训练，依次经过广泛训练、高质量退火与长上下文训练，共约 1.27 万亿 token。论文称，退火后的检查点在 Indic MILU 基准上提升 12.9 分，但在英文 MMLU 上下降 3.4 分。该工作面向八种印度语言。目前尚无其他跟进报道，上述数字与结论均来自该论文自身表述。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。