在 PaddlePaddle 中，引入了英特尔® 深度学习加速技术（VNNI 指集）—— 英特尔® 深度学习加速技术就通过 VNNI 指令集提供了多条全新的宽融合乘加 (FMA) 内核指令，用于支持 8 位或 16 位低精度数值相乘，这对于需要执行大量矩阵乘法的深度学习计算而言尤为重要。

它的导入，使得用户在执行 INT8 推理时，对系统内存的要求最大可减少75%，而对内存和所需带宽的减少，也加快了低数值精度运算的速度，从而使系统整体性能获得大幅提升。

通过与英特尔开展紧密合作，飞桨深度学习平台基于英特尔® 深度学习加速技术（VNNI 指令集）发布了 INT8 离线量化方案。实际验证表明，基于第二代英特尔® 至强® 可扩展处理器平台，可在不影响预测准确度的情况下，使多个深度学习模型在使用 INT8 时的推理速度，加速到使用 FP32 时的 2-3 倍之多，大大提升了用户深度学习应用的工作效能。

借助 VNNI 扩展指令和统一编程接口oneAPI 的支持， PaddleSlim 产出的模拟INT8模型可以转化成真实的INT8模型，并部署到第三代英特尔至强可扩展处理器上。

【精度】在 ResNet-50 和 MobileNet-V1 两种模型的 TOP-1准确率（预测出最大概率的 分类是正确的概率）中，INT8 分别只有0.4％ 和 0.31％ 的准确度损失5，基本可视为没有准确度损失。 【性能】在BatchSize=1的条件下，ResNet-50 和MobileNet-V1 两种模型的 INT8 推理吞吐量是 FP32 的 2.2 倍到2.79 倍