LUMOS：追踪 LLM 参数化知识从训练数据到行为输出的因果链

LUMOS 是一个诊断框架，借助训练语料完全透明的 OLMo 2，沿"训练数据曝光→行为输出"的因果链追踪 LLM 的参数化知识。研究发现模型内部对罕见事实的编码可分性达 84%，但行为表达仅 54%，该检索差距随规模缩小；模型对训练内容自我反思准确率 83%，对未见内容降至随机基线 49%，且思维链提示只会抬高置信度而非改善校准。