跳到正文
arXiv Artificial Intelligence· Nikita Koriagin, Nikita Balagansky, Daniil Gavrilov·· 2 天前AI 评分31

SAE 训练数据的缩放定律:固定预算下激活存储可减 8–64 倍

Scaling Laws for SAE Training Data

AI 导读

研究提出 SAE 训练数据缩放定律:总训练预算固定时,激活缓冲区增大到质量平台后,重复回放缓冲区与全程使用新激活效果接近,继续增加唯一激活对重建和可解释性收益甚微。

来源:arXiv Artificial Intelligence · arxiv.org