可视化 PPO 智能体价值函数中的世界模型

研究用反事实干预方法，在固定状态其余部分、只改变目标变量的条件下，探究 PPO 智能体的价值函数是否在 Crafter 环境中形成了世界模型。结果显示，尽管只以优化奖励为目标训练，该价值函数仍学到了钻石何时可收集、水和食物影响健康、库存启发式等概念。作者还讨论了这些可视化带来的安全启示，以及当前强化学习智能体阻碍构建真正先进机器智能的一些缺陷。