开放世界 AI 的三项要求：从 8B 语言模型看推理时学习、丰富表征与预测解耦

开放世界要求 AI 具备通用性，需在推理时学习未预先指定的任务，论文由此推导出另外两项要求：保留超出 iid 泛化所需的丰富表征，以及将输入输出对齐为匹配低维分组的预测解耦。研究在最高 8B 的语言模型上做定性验证，满足要求的模型随相关任务数据积累而提升，其余模型则退化，扩大规模或层类型交错都无法修复。