国际象棋测试区分大模型泛化与记忆

2026年10月22日，arXiv 人工智能板块刊出 Leonard S. Pleiss 等作者的论文，提出以国际象棋作为受控测试平台，按相关先验的密度对棋局分类，从而在不掌握模型训练数据的情况下区分大语言模型的记忆与泛化能力。论文对 GPT 系列做了长时段分析，并评测了 Claude Opus、Gemini 等当代模型，结果显示：先验越稀疏，性能下降越明显；在少先验任务上，基础模型回落到随机走子水平，各模型提出非法走子的比例也明显上升。推理增强的推理方式能提升表现，但缺少相关先验时，每个 token 的相对边际收益下降。目前该事件仅有这一篇主报道，尚无跟进报道或相互矛盾的数字与说法。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。