arXiv Artificial Intelligence· Avinash Benki, Prasanjith Pasunuti, Sutanshu Saksena Raj, Parijat Chatterjee, Nayanjit Sarkar, Daksh Maan·· 18 小时前AI 评分24
Nemotron-3-Nano-30B-A3B 原地扩展 Indic 分词器并持续预训练
In-Place Indic Tokenizer Expansion and Continual Pretraining of Nemotron-3-Nano-30B-A3B
AI 导读
研究团队在不改动 Nemotron-3-Nano-30B-A3B 主干架构的前提下，将其词表从 131,072 原地扩展至 163,072，采用持续 BPE 与 AdaptMix 重平衡使每词 token 数减少 38.6%。
来源：arXiv Artificial Intelligence · arxiv.org