arXiv Artificial Intelligence· Yiding Ma, Chengyun Ruan, Kaibo Huang, Jin Tan, Zhongliang Yang, Linna Zhou·· 18 小时前AI 评分28
OracleProto：通过知识截止与时间掩码评测 LLM 预测能力的可复现框架
OracleProto: A Reproducible Framework for Benchmarking LLM Forecasting via Knowledge Cutoffs and Temporal Masking
AI 导读
OracleProto 是一个在受控时间掩码环境中评测 LLM 预测能力的可复现框架，通过模型知识截止约束与时间掩码构建面向真实网络检索的时间沙箱，并借助泄漏检测审计信息边界。该框架在 300 道 FutureX-Past 衍生问题上评测了 27 组模型配置，共 24,300 次预测试验，审计发现时间掩码与泄漏过滤后检索结果仅残留 1.37% 泄漏。
来源：arXiv Artificial Intelligence · arxiv.org