arXiv Artificial Intelligence· Hazem Hesham Yousef Shalby, Fabrizio Pittorino, Manuel Roveri·· 18 小时前AI 评分30
全整数训练深度神经网络：INT8 张量与整数运算实现内存高效训练
Memory-Efficient Integer-Only Training of Deep Neural Networks
AI 导读
一种训练算法让所有权重、梯度和激活值均以 INT8 存储，前向、反向、权重更新和优化器更新全部用整数运算完成，训练内存约为 FP32 基线的 1/4。该方法用带显式 2 的幂指数的有符号整数尾数表示张量，并借助五种可组合构建块实现卷积、批归一化、层归一化、softmax 和 GELU 等可训练整数层。
来源：arXiv Artificial Intelligence · arxiv.org