深度学习>> Learning-Accurate-Low-Bit-Deep-Neural-Networks-with-Stochastic-Quantization>> 返回
项目作者： xiaoweiChen

项目描述 ：
作为对论文Learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization的中文翻译。
高级语言：
项目地址: git://github.com/xiaoweiChen/Learning-Accurate-Low-Bit-Deep-Neural-Networks-with-Stochastic-Quantization.git


使用随机量化算法量化深度神经网络

原文链接

作者：

摘要

由于嵌入式应用对存储需求和计算能力较为苛刻，使得使用较少位数表示深度神经网络势在必行。不过，这样会使得精度有所损失。本文的目的是使用随机量化(SQ)算法来将DNN网络使用低位数表示。我们使用这种量化方式是基于以下的观察。现有的训练算法在将每一次迭代中都近似地将实数值/滤波器汇总在一起，并使用低位表示。有些数值/滤波器的量化损失比较小，但有些却十分大，这会导致训练时梯度指向不合适的方向，这回导致精度显著下降。另外，SQ量化将一部分数值/滤波器量化为低位表示，这里量化误差与随机概率成反比(其他未量化的值保持全精度)。每次迭代中，量化和全精度的部分会根据相关的梯度进行更新。SQ率会随着整个网络的量化而增加。这个过程中会对量化的误差进行补偿，并且使低位表示的DNN获取较好的精度。我们用实验展示了SQ算法，可以在各种数据集和网络结构下保证(并提高)不同位数表示的DNN网络的精度。