arXiv Artificial Intelligence· Chun-Hao Yang, Bo-Han Feng, Tzu-Yuan Lai, Yan-Yu Chen, Yin-Kai Dean Huang, Shou-De Lin·· 19 小时前AI 评分22
用 Max(MI(S;t)) 填补互信息缺口：LLM 训练不再只做下一 token 预测
Training LLMs Beyond Next Token Prediction - Filling the Mutual Information Gap
AI 导读
研究把目标 token 的组织方式当作训练设计变量，提出基于互信息的确定性启发式 Max(MI(S;t))，优先预测信息量大的目标 token。在算术推理、多标签文本分类和文本生成任务上，GPT 风格模型及预训练 Llama/Qwen 变体的实验显示，该方法常优于标准 NTP 以及 reverse order、TF-IDF、条件概率选择等基线，且不改变模型架构与自回归解码。
来源：arXiv Artificial Intelligence · arxiv.org