INT8全整数训练算法实现深度网络训练

2026年10月14日，arXiv Artificial Intelligence 刊出 Hazem Hesham Yousef Shalby 等作者的论文，提出一种全整数训练深度神经网络的算法。该算法将权重、梯度和激活值等所有张量均以 INT8 存储，前向传播、反向传播、权重更新和优化器更新全部用整数运算完成；由于每个张量都适配 INT8，训练内存约为 FP32 基线的四分之一。方法采用带显式 2 的幂指数的有符号整数尾数表示张量，并借助五种可组合构建块实现卷积、批归一化、层归一化、softmax 和 GELU 等可训练整数层。作者在 CNN（ResNet-18/34/50/101、MobileNetV2）和视觉 Transformer（ViT-Ti/B）上验证该训练算法，称首次证明用 INT8 张量与整数运算训练神经网络，可在降低内存预算的情况下于 CIFAR-10、CIFAR-100 和 ImageNet 上取得有竞争力的准确率。目前进展为论文发布，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。