提出Token Games模型互出题评测框架
热点事件持续更新
提出Token Games模型互出题评测框架
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
2026年10月15日,arXiv Artificial Intelligence 刊出研究,Simon Henniger 与 Gabriel Poesia 提出 The Token Games(TTG)评测框架。该框架受16世纪数学对决启发,让模型互相出题挑战:采用编程谜题格式,即给定一个返回布尔值的函数,要求找出使其返回 True 的输入,并对解答进行验证,再依据两两对决结果计算 Elo 评分。研究者在 10 个前沿模型上评估 TTG,其排名与 Humanity's Last Exam 等现有基准高度吻合,花费不到 200 美元,且出题过程无需任何人工参与。研究同时发现,对当前模型而言,生成好的谜题仍是一项极具挑战性的任务。目前进展为框架提出与初步评测结果公布,尚无后续跟进报道。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
The Token Games:用解谜对决评估语言模型推理能力报道时间线
沿着报道,了解事件的不同侧面。
10月15日
- arXiv Artificial IntelligenceThe Token Games:用解谜对决评估语言模型推理能力
研究者提出 The Token Games(TTG)评估框架,让模型互相出题挑战,采用编程谜题格式(给定返回布尔值的函数,找出使其返回 True 的输入)并验证解答,再通过两两对决结果计算 Elo 评分。在 10 个前沿模型上,TTG 排名与 Humanity's Last Exam 等现有基准高度吻合,花费不到 200 美元且无需人工出题。研究还发现,当前模型生成好谜题仍十分困难。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。