Echo：用离策略经验扩展视觉强化学习

Echo 是一个单阶段离策略强化学习框架，通过逆蒸馏让基于状态的辅助策略模仿不断演化的视觉策略，从而采集无需渲染的低成本经验，用于离策略价值学习并经共享特权 critic 直接改进视觉策略。基于 FastTD3 在 Genesis 的三个视觉控制任务和两个灵巧手任务上评估，相比 SDPG，Echo 将达到参考回报的时间分别平均缩短 60% 和 56%，峰值平均回报分别提升 62% 和 12%。