HAWQ-V2:基于Hessian迹的混合比特量化策略
HAWQ-V2
本文为 UC Berkeley 大学发表在 NeurIPS 2020 上的混合精度量化论文,是之前 HAWQ 论文的升级版本。
论文题目:HAWQ-V2: Hessian Aware trace-Weighted Quantization of Neural Networks
论文链接:https://papers.nips.cc/paper/2020/file/d77c703536718b95308130ff2e5cf9ee-Paper.pdf
由于本文牵扯到的数学公式与证明较多,感兴趣可以自行阅读原文。这里只做一个大概的分析导读。
摘要
量化是减少神经网络的内存占用和推理时间的有效方法。但是,超低精度量化可能会导致模型精度显着下降。解决此问题的一种有前途的方法是执行混合精度量化,其中更敏感的层保持更高的精度。但是,用于混合精度量化的搜索空间的层数是指数级的。HAWQ 提出了一个新颖的基于 Hessian 的框架,其目的是通过使用二阶信息来减少这种指数搜索空间。尽管有前途,但这项先前的工作具有三个主要局限性:
HAWQ 仅使用基于高海森特征值的启发式度量作为敏感度的度量,而未考虑其余的海森频谱; HAWQ 的方法仅提供不同层的相对灵敏度,因此需要手动选择混合精度设置; HAWQ 没有考虑混合精度激活量化。
在这里,本文介绍解决这些缺点的HAWQ-V2,解决对应HAWQ的三个问题,如下:
HAWQ-V2 从理论上证明了正确的敏感度度量是平均Hessian迹,而不只是顶部的Hessian特征值。 HAWQ-V2 实现了一种基于 Pareto 边界的方法,无需任何人工干预即可自动选择不同层的比特精度。 HAWQ-V2 实现了个基于Hessian的混合精度激活量化分析,这对于对象检测非常有益。
通过证明,HAWQ-V2在各种任务上均达到了新水平。尤其是,本文展示了InceptionV3(7.57MB,精度为75:98%),ResNet50(7.99MB,精度为75:92%)和SqueezeNext(1MB,精度为68:68%)的量化结果,所有这些都没有任何手动位选择。此外,本文在Microsoft COCO上提供了对象检测的结果,与近提出的FQN方法相比,获得了比直接均匀量化高2.6的mAP和比直接均匀量化高1.6的mAP,模型尺寸更小17.9MB。
方法
自动化的位宽选择
Hutchinson快速求解Hessian迹
Hessian迹的公式求解如下所示:
根据 Hutchinson 算法近似可以得到
上图展示了当增加用于 Hessian迹 估计的迭代次数时,Hutchinson 算法的收敛图。可以清楚地看到,随着在512个数据点上增加数据点的数量,迹快速收敛,在该点上计算二次采样的 Hessian。可以看到,进行 50 次 Hutchinson 迭代足以实现低方差的逼近。基于收敛性分析,在ResNet50模型中能够在30分钟内使用4个GPU计算所有平均Hessian迹线,即54个块相对应平均每块33s。除自动位宽精度选择外,Hutchinson 算法还使 HAWQ-V2 成为一种比以前基于搜索的算法快得多的算法。
敏感度指标分析
基于小描述长度(MDL)理论,在给定的阈值下,指定一个平坦区域所需的比特数较少,反之,指定一个具有尖锐曲率的区域所需的比特数较多。更通俗的解释,平坦区域的不位置所产生的噪声不会被放大,使得它更容易被量化。而尖锐区域则相反,即使是小的舍去误差也会被放大。因此,预计具有较高- Hessian 迹的层(即较大的特征值)对量化更敏感。
激活的混合精度量化
实验结果
ResNet50 on ImageNet
Inception-V3 on ImageNet
SqueezeNext on ImageNet
RetinaNet-ResNet50 on COCO
消融实验
首先,证明为什么选择导致模型扰动小的位精度设置非常重要,如下表所示,其中消融行模型使用的位精度设置为较大扰动。可以看到,HAWQ-V2方法模型以较小扰动,在SqueezeNext上实现了1%以上的精度提升。
其次,证明了使用海森矩阵的迹加上权重的 L2 范数作为敏感度度量()的有效性。如下表所示,其中消融行模型仅使用模型参数与量化差值的 L2 敏感度度量。可以看到,HAWQ-V2提出的敏感度度量方法在SqueezeNext上实现了0.85%的精度提升。
来自:https://mp.weixin.qq.com/s/n7s_fghABBEDW1FGAT2RhA
相关文章