arXiv Artificial Intelligence· Bryan Kelly, Semyon Malamud, Johannes Schwab, Teng Andrea Xu·2026-10-15 12:00· 19 小时前AI 评分36

用规模缩小差距：时点语言模型实现嵌入的经济评估

Scaling Point-in-Time Language Models: Enabling Economic Evaluation of Embeddings

AI 导读

研究者用 FineWeb 中 1 万亿按时间过滤的 token 训练了参数量最高 4B 的 decoder-only Transformer，构建了覆盖 2013-2024 年的逐月模型检查点，以消除未来信息泄漏带来的前视偏差。