arXiv Artificial Intelligence· Kathan Shah·2026-10-15 12:00· 19 小时前AI 评分26

Ember：面向 Token 接口的千字节状态优化器

Ember: A Kilobyte-State Optimizer for Token Interfaces

AI 导读

Ember 是一款针对嵌入表和 LM-head 矩阵的轻量优化器，仅需 O(V+D) 优化器显存而非 Adam 的 O(2VD)，且无需分片 token 表优化器状态。