正交循环神经网络量化研究：QORNN 如何实现全量化循环计算

研究提出 QORNN，通过量化感知训练（QAT）结合正交投影的两种策略学习量化后的近似正交 RNN 权重矩阵，并研究激活值的训练后量化以实现循环环路的纯整数计算。最有效的全量化模型是目前唯一能求解 1000 时间步 Copy-task 的方案，在 permuted MNIST 及部分 IoT 任务等长程依赖任务上超过现有量化模型，但在 LSTM 等门控 RNN 更擅长的任务上表现较弱。