OracleProto：LLM预测可复现评测框架

2026年10月15日，arXiv Artificial Intelligence 刊出 Yiding Ma 等作者的论文，提出 OracleProto——一个在受控时间掩码环境中评测 LLM 预测能力的可复现框架。据该报道，OracleProto 通过模型知识截止约束与时间掩码，为真实网络检索构建时间沙箱，并借助泄漏检测审计信息边界，同时把已解决事件重构为预测实例。报道称，该框架在 300 道 FutureX-Past 衍生问题上评测了 27 组模型配置，共进行 24,300 次预测试验；审计发现，经时间掩码与泄漏过滤后，检索结果仅残留 1.37% 泄漏。报道还称代码已公开（原文以链接形式给出）。上述数字与结论均来自该篇报道，尚无其他跟进报道可对照。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。