研究用国际象棋区分大语言模型的泛化与记忆

论文提出以国际象棋作为受控测试平台，按相关先验的密度对棋局分类，从而在不掌握模型训练数据的情况下区分记忆与泛化。对 GPT 系列的长时段分析与 Claude Opus、Gemini 等当代模型的评测显示，先验越稀疏性能下降越明显，在少先验任务上基础模型回落到随机走子水平，各模型提出非法走子的比例也明显上升。推理增强的推理方式能提升表现，但缺少相关先验时每个 token 的相对边际收益下降。