时点语言模型训练与评估流程发布

2026年10月15日，arXiv Artificial Intelligence 刊出由 Bryan Kelly 等作者完成的研究，主题为“用规模缩小差距：时点语言模型实现嵌入的经济评估”。该研究用 FineWeb 中 1 万亿按时间过滤的 token 训练了参数量最高 4B 的 decoder-only Transformer，构建覆盖 2013-2024 年的逐月模型检查点，以消除未来信息泄漏带来的前视偏差。作者同时发布时点语言模型完整流程，包括数据集构建、训练基础设施与评估代码，目的是支持可复现的时点语言建模，并服务于需要严格时间有效性的研究应用。截至本综述，该事件仅有这一篇报道，尚无后续跟进或相互矛盾的说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。