第4章模型量化与优化

本章学习目标

理解量化的基本原理，掌握浮点数到定点数的映射方法
掌握训练后量化（PTQ）与量化感知训练（QAT）的区别与应用场景
学会分析量化对模型精度与推理性能的影响
了解内存优化技术，包括权重共享、网络剪枝与缓冲区管理
能够在STM32Cube.AI中实际执行量化与优化操作

4.1 量化基本原理

4.1.1 什么是量化

量化（Quantization）是将深度学习模型中的浮点数参数（如权重、偏置、激活值）转换为低精度定点数表示的过程。在训练阶段，模型通常使用32位浮点数（FP32）来表示参数，以获得最高的数值精度。然而，当模型需要部署到资源受限的微控制器（MCU）上时，FP32的存储和计算开销往往难以承受。

量化的本质是一种数值映射：将连续的浮点值域离散化为有限个整数值。以INT8量化为例，FP32的数值范围被映射到[-128, 127]共256个离散级别上。虽然精度有所损失，但存储需求降低为原来的1/4，计算速度在支持整数运算的硬件上可提升2~4倍。

核心公式：

real_value = scale × (quantized_value - zero_point)

其中 scale 是缩放因子，表示每个整数级别对应的浮点数值跨度；zero_point 是零点，表示浮点数值0所对应的整数值。通过这两个参数，可以精确地描述浮点值与整数值之间的映射关系。

量化过程可以理解为对浮点数轴的"采样"。假设一组浮点权重值为 [-1.2, -0.5, 0.0, 0.3, 1.8]，在INT8对称量化下（zero_point=0），scale = max(|value|) / 127 = 1.8 / 127 ≈ 0.01417。那么 0.3 量化后为 round(0.3 / 0.01417) = 21，反量化后为 21 × 0.01417 = 0.2976，存在约0.0024的误差。

4.1.2 为什么需要量化

MCU的资源限制是量化的根本驱动力。以下表格对比了典型MCU与GPU/服务器的资源差异：

资源维度	STM32H7 (Cortex-M7)	典型GPU服务器	差距倍数
Flash存储	2 MB	1 TB+	500,000x
SRAM	1 MB	40 GB+	40,000x
计算频率	480 MHz	1.5 GHz × 10000+ cores	>30,000x
功耗	< 1W	300W+	300x
浮点单元	单/双精度FPU	专用Tensor Core	架构差异巨大

一个典型的MobileNetV1模型在FP32下约16MB，远超STM32H7的2MB Flash。通过INT8量化，模型体积可压缩到约4MB，再配合内存优化技术，才能成功部署到MCU上。

注意：量化并非没有代价。不恰当的量化可能导致模型精度大幅下降，尤其在分类边界敏感的任务中。因此，选择合适的量化策略和精度至关重要，这正是本章后续内容的重点。

4.1.3 对称量化 vs 非对称量化

对称量化（Symmetric Quantization）将浮点零值映射到整数零值，即 zero_point = 0。量化公式简化为：

q = round(real_value / scale)，其中 scale = max(|real_value|) / (2^(n-1) - 1)

对称量化的优点是计算简单，不需要额外的零点偏移运算，在矩阵乘法中效率更高。缺点是当数据分布不对称时（例如ReLU激活后的值全为正），会浪费一部分量化范围。

非对称量化（Asymmetric Quantization）允许 zero_point ≠ 0，可以更精确地覆盖数据的实际分布范围：

scale = (max_val - min_val) / (qmax - qmin)
zero_point = round(qmin - min_val / scale)

非对称量化在数据分布偏移较大时效果更好，例如经过ReLU激活后的非负值域。但计算时需要额外减去零点，增加了少量计算开销。

特性	对称量化	非对称量化
zero_point	0	可为任意整数
计算复杂度	低（无需偏移）	略高（需减零点）
数据适配性	对称分布最优	任意分布均可
典型应用	权重量化	激活值量化
STM32Cube.AI支持	支持	支持

4.1.4 逐层量化 vs 逐通道量化

逐层量化（Per-Tensor Quantization）对整个张量使用一组 scale 和 zero_point。实现简单，但当不同通道的数值范围差异较大时，量化误差会增大。

逐通道量化（Per-Channel Quantization）为每个输出通道维护独立的 scale 和 zero_point。例如，一个卷积核有64个输出通道，则需要64组量化参数。这显著提高了量化精度，因为每个通道的数值范围被独立适配。

实践建议：在STM32Cube.AI中，权重量化推荐使用逐通道量化以获得更好的精度，激活值量化通常使用逐层量化，因为激活值的通道间差异通常较小。逐通道量化会略微增加参数量（需要存储额外的scale数组），但对Flash占用的影响可以忽略不计。

交互演示：浮点到定点量化可视化

拖动下方滑块调整 scale 和 zero_point 参数，观察浮点数如何映射到INT8整数值。上方数轴显示浮点值，下方数轴显示量化后的INT8值，连线展示映射关系。

拖动滑块调整参数，观察量化映射变化

Scale (缩放因子)0.0200

Zero Point (零点)0

输入浮点值1.5000

4.2 量化策略

4.2.1 训练后量化（PTQ）

训练后量化（Post-Training Quantization, PTQ）是最简单的量化方法：模型训练完成后，直接对已训练好的浮点参数进行量化转换，无需重新训练。

PTQ的工作流程：

模型分析：遍历模型所有层，统计每层权重和激活值的数值分布范围（最小值、最大值、直方图）
校准（Calibration）：使用一小批代表性数据（通常100~1000个样本）前向推理，收集各层激活值的统计信息
参数计算：根据统计数据计算每层的 scale 和 zero_point
参数转换：将浮点权重按照计算出的量化参数转换为低精度整数
验证：在验证集上测试量化后模型的精度，确认是否满足要求

PTQ的优点：实现简单、快速，不需要原始训练数据，计算资源需求低。
PTQ的缺点：对于精度敏感的模型，可能出现较大的精度损失；无法通过训练补偿量化误差。

适用场景：模型结构较简单、精度裕度较大（如当前精度98%，目标精度95%即可）、无法获取训练数据或对量化流程不熟悉的场景。在STM32Cube.AI中，默认的量化方式就是PTQ。

4.2.2 量化感知训练（QAT）

量化感知训练（Quantization-Aware Training, QAT）在训练过程中模拟量化的效果，让模型在训练阶段就"适应"量化带来的精度损失。

QAT的核心思想：在前向传播时插入"伪量化"（Fake Quantization）节点，模拟INT8的量化效果；反向传播时使用直通估计器（Straight-Through Estimator, STE）将梯度直接传递通过伪量化节点，使网络参数能够学习如何补偿量化误差。

前向：x_q = fake_quant(x) = dequant(quant(x))
反向：dL/dx ≈ dL/dx_q （STE近似）

QAT的工作流程：

在浮点模型中插入伪量化节点（通常在权重和激活值处）
使用原始训练数据进行微调训练（通常学习率较小，训练轮次较少）
训练过程中，模型自动学习适应量化误差
训练完成后，将伪量化节点转换为真正的量化参数，导出量化模型

注意：QAT需要访问原始训练数据和训练框架（如TensorFlow/PyTorch），流程比PTQ复杂。但在大多数情况下，QAT的精度损失明显小于PTQ，通常仅损失0.1%~0.5%的精度，而PTQ可能损失1%~5%。

4.2.3 动态量化 vs 静态量化

动态量化（Dynamic Quantization）：权重在部署前预先量化为低精度，但激活值在运行时动态量化。每次推理时，先观察激活值的实际范围，再计算量化参数。优点是简单、无需校准数据；缺点是运行时额外开销较大。

静态量化（Static Quantization）：权重和激活值都在部署前量化。激活值的量化参数通过校准数据集预先确定，运行时直接使用固定的量化参数。优点是推理速度快（无运行时量化开销）；缺点是需要代表性的校准数据。

特性	动态量化	静态量化
权重量化	离线完成	离线完成
激活量化	运行时动态	离线校准确定
推理速度	较慢（额外开销）	较快
需要校准数据	不需要	需要
精度稳定性	随输入波动	稳定可预测
MCU适用性	不太适合	推荐

4.2.4 混合精度量化

混合精度量化（Mixed-Precision Quantization）允许模型的不同层使用不同的量化精度。核心思想是：并非所有层对量化都同样敏感。例如，第一层卷积和最后一层全连接层通常对量化更敏感，可以保持较高精度（如INT16或FP16），而中间层可以使用INT8甚至INT4。

混合精度的确定方法：

基于敏感度分析：逐层量化并测量每层的精度损失，对损失大的层使用高精度
基于NAS搜索：使用神经架构搜索（NAS）自动搜索每层的最优精度配置
基于启发式规则：根据经验，对特定类型的层（如深度可分离卷积）使用更高精度

STM32Cube.AI支持混合精度配置，用户可以在转换时为不同层指定不同的目标精度。工具会自动处理精度转换和数据格式适配。

4.2.5 如何选择量化策略

决策流程：

首先尝试PTQ + INT8：这是最简单快速的方案。如果精度满足要求（通常损失<1%），直接使用
若PTQ精度不达标：尝试QAT，在训练中补偿量化误差
若QAT仍不达标：使用混合精度，对敏感层保持更高精度
若模型极小（<100KB）：考虑不量化或使用FP16，因为小模型量化误差占比更大
若有硬件加速器：根据加速器支持的精度选择（如某些MCU仅支持INT8）

交互演示：量化策略对比仪表盘

选择不同模型，查看PTQ、QAT、混合精度三种策略在模型大小、推理速度、精度保持、实现难度四个维度的对比。

点击上方按钮切换不同模型的对比数据

4.3 精度与性能权衡

4.3.1 INT8 vs FP16 vs FP32 对比

指标	FP32	FP16	INT8
数值精度	7位有效数字	3~4位有效数字	整数，无小数
动态范围	±3.4×10³⁸	±65504	-128 ~ 127（需scale还原）
单参数存储	4 字节	2 字节	1 字节
模型体积（以16MB模型为例）	16 MB	8 MB	4 MB
MAC运算速度	基准 1x	1.5~2x（有FPU时）	2~4x（DSP/加速器）
典型精度损失	无	< 0.1%	0.5% ~ 3%
MCU支持	广泛支持	部分Cortex-M7支持	DSP指令/软件模拟

关键结论：对于STM32 MCU部署，INT8量化是首选方案。它在模型体积、推理速度和能耗方面具有显著优势。FP16适用于Cortex-M7带FPU的型号，可作为精度要求较高时的折中方案。FP32通常仅用于验证和调试阶段。

4.3.2 量化对推理速度的影响

量化对推理速度的提升主要来自三个方面：

内存带宽节省：INT8参数是FP32的1/4大小，从Flash读取权重的时间缩短为1/4。在MCU上，内存访问往往是推理的主要瓶颈
计算效率提升：INT8乘加运算（MAC）可在一个时钟周期内完成多个操作（如Cortex-M7的DSP指令支持双路INT8 MAC），而FP32乘法通常需要多个时钟周期
缓存命中率提高：更小的模型意味着更多数据可以放入缓存（Cache），减少缓存未命中带来的延迟

实际加速比取决于模型结构和硬件平台。对于内存密集型模型（如深层网络），加速比更明显；对于计算密集型模型，加速比可能受限于计算单元本身。

4.3.3 量化对模型精度的影响

量化引起的精度损失主要来自两个来源：

权重量化误差：权重值被近似到最近的量化级别，导致模型"记忆"的信息丢失
激活量化误差：中间计算结果被量化，误差在网络中逐层传播和累积

影响精度损失的因素：

因素	精度损失小	精度损失大
模型大小	大模型（参数冗余多）	小模型（每个参数都重要）
任务难度	简单任务（精度裕度大）	困难任务（精度裕度小）
网络深度	浅层网络	深层网络（误差累积）
数值分布	分布集中、均匀	分布分散、有离群值
量化位数	INT16/INT12	INT4/INT3

4.3.4 量化校准

量化校准（Calibration）是静态量化中的关键步骤，其目的是使用一组代表性数据来确定各层激活值的量化参数。

校准过程：

准备校准数据集：从训练集或验证集中选取100~1000个样本，要求能代表实际部署时的数据分布
前向推理：将校准数据逐层通过浮点模型，记录每层激活值的数值分布
统计收集：收集每层激活值的最小值、最大值、直方图分布等信息
参数计算：根据统计信息计算每层的 scale 和 zero_point

校准算法的选择：

MinMax：直接使用观测到的最小值和最大值。简单但对离群值敏感
百分位法（Percentile）：使用99.9%或99.99%百分位值，忽略极端离群值
KL散度（KL Divergence）：寻找使量化前后分布差异最小的截断点，TensorRT默认使用此方法
MSE最小化：寻找使量化均方误差最小的参数

4.3.5 精度恢复技术

当量化导致精度损失过大时，可以采用以下精度恢复技术：

微调（Fine-tuning）：在量化模型基础上使用少量训练数据进行微调，补偿量化误差
知识蒸馏（Knowledge Distillation）：使用浮点教师模型指导量化学生模型的训练
逐层重建（Layer-wise Reconstruction）：逐层优化量化参数，使每层的输出尽可能接近浮点版本的输出
数据增强校准：使用数据增强技术扩展校准数据集的多样性
异常值处理：对含有异常值的通道使用单独的缩放因子或保持FP16精度

实践建议：在STM32Cube.AI中，如果默认量化方案精度不达标，建议首先检查校准数据集的质量，然后尝试不同的量化校准算法，最后考虑使用QAT方案。通常校准数据集的质量比算法选择更重要。

4.4 内存优化技术

4.4.1 权重共享（Weight Sharing）

权重共享（也称为权重聚类，Weight Clustering）是将模型中相近的权重值合并为相同的值，从而减少唯一权重值的数量。合并后的权重可以使用更少的位数进行编码，同时通过查找表（Codebook）还原实际值。

工作原理：

对每层的权重进行聚类分析（通常使用K-Means），将权重分为K个簇
每个簇的权重用该簇的中心值替代
原始权重索引只需存储簇编号（如K=256时，每个索引仅需8位）
推理时通过查找表将索引映射回实际权重值

权重共享可以与量化结合使用。例如，一个FP32权重（4字节）经过256簇的权重共享后，只需1字节的索引 + 查找表（256 × 4字节 = 1KB）。对于大层，查找表的开销可以忽略不计。

4.4.2 网络剪枝（Pruning）

网络剪枝是移除模型中"不重要"的连接或结构，以减小模型体积和计算量。

剪枝的层次：

非结构化剪枝（Unstructured Pruning）：移除单个权重元素（将不重要的权重设为0）。压缩比高，但产生的稀疏矩阵需要特殊硬件或库支持才能加速
结构化剪枝（Structured Pruning）：移除整个滤波器（Filter）、通道（Channel）或层。压缩比相对较低，但剪枝后的模型结构规整，可直接在通用硬件上加速
模式剪枝（Pattern Pruning）：将权重按固定大小的块分组，移除块中大部分为零的组。这是ARM CMSIS-NN支持的剪枝方式

STM32Cube.AI中的剪枝：STM32Cube.AI支持在模型转换过程中自动进行内存层面的优化，包括移除未使用的缓冲区和优化内存布局。对于网络剪枝，建议在上游工具（如TensorFlow Model Optimization Toolkit）中完成，然后再导入STM32Cube.AI进行转换。

4.4.3 缓冲区复用与内存池管理

在MCU上，RAM是极其宝贵的资源。内存优化的核心目标是最小化峰值RAM使用量。

缓冲区复用（Buffer Reuse）：神经网络推理时，并非所有层的激活值都需要同时保存。当某一层的输出被下一层消费后，该层的输入缓冲区就可以被释放并复用。通过分析层的依赖关系（即"生命周期分析"），可以让不同层的激活值共享同一块内存区域。

内存池管理（Memory Pool）：STM32Cube.AI采用静态内存分配策略，在编译时确定所有缓冲区的大小和位置。运行时不需要动态内存分配（malloc/free），避免了内存碎片和不确定性。所有激活值缓冲区被组织在一个连续的内存池中。

总RAM = 权重缓冲区 + 激活值缓冲区（复用后峰值） + 系统开销

内存优化的关键策略：

原地操作（In-place Operations）：某些操作（如ReLU激活）可以直接在输入缓冲区上修改，无需额外内存
层融合（Layer Fusion）：将Conv + BatchNorm + ReLU融合为一个操作，减少中间缓冲区的分配
最优执行顺序：通过拓扑排序和生命周期分析，找到使峰值内存最小的缓冲区分配方案
外部Flash利用：对于大容量模型，可将权重存储在外部QSPI Flash中，按需加载到RAM

4.4.4 STM32Cube.AI的内存优化策略

STM32Cube.AI在模型转换过程中自动执行以下内存优化：

算子融合：自动识别并融合可合并的算子（如Conv+BN+Activation），减少中间缓冲区
内存规划：使用贪心算法或整数线性规划（ILP）求解最优的缓冲区分配方案
常量折叠：将可以在编译时计算的表达式提前计算，减少运行时开销
死代码消除：移除推理路径中不会执行的分支和节点
对齐优化：按照MCU的字长（4字节或8字节）对齐数据，提高访问效率

在STM32Cube.AI的转换报告中，会详细列出优化前后的内存使用情况，包括：

权重RAM/Flash占用
激活值RAM占用（峰值）
总RAM/Flash占用
各层的内存分配详情

4.4.5 实际案例分析：优化前后对比

以下是一个基于MobileNetV1（输入224x224，1000类分类）在STM32H743上的部署优化案例：

指标	优化前（FP32）	量化后（INT8）	优化后（INT8+优化）
Flash占用	16.8 MB	4.2 MB	3.8 MB
RAM占用（峰值）	2.1 MB	1.1 MB	0.68 MB
推理延迟	1200 ms	380 ms	290 ms
Top-1精度	71.3%	70.8%	70.8%
能耗/次推理	~360 mJ	~114 mJ	~87 mJ

优化过程分析：

第一步 - INT8量化：Flash从16.8MB降至4.2MB（4x压缩），推理速度提升3.2x。精度仅损失0.5%，在可接受范围内
第二步 - 算子融合：融合Conv+BN+ReLU后，减少了28个中间缓冲区，RAM从1.1MB降至0.85MB
第三步 - 缓冲区复用：通过生命周期分析复用缓冲区，RAM进一步降至0.68MB
第四步 - 对齐优化：数据按8字节对齐，提高DMA传输效率，推理延迟从380ms降至290ms

最终模型成功部署到STM32H743（2MB Flash, 1MB RAM）上，还有充足的余量用于其他功能。

交互演示：内存优化前后对比

点击"开始优化"按钮，观察Flash和RAM的内存布局从优化前（FP32）到优化后（INT8+剪枝+复用）的变化过程。

点击"开始优化"查看内存布局的动态变化

第4章模型量化与优化

本章学习目标

目录

4.1 量化基本原理

4.1.1 什么是量化

4.1.2 为什么需要量化

4.1.3 对称量化 vs 非对称量化

4.1.4 逐层量化 vs 逐通道量化

交互演示：浮点到定点量化可视化

4.2 量化策略

4.2.1 训练后量化（PTQ）

4.2.2 量化感知训练（QAT）

4.2.3 动态量化 vs 静态量化

4.2.4 混合精度量化

4.2.5 如何选择量化策略

交互演示：量化策略对比仪表盘

4.3 精度与性能权衡

4.3.1 INT8 vs FP16 vs FP32 对比

4.3.2 量化对推理速度的影响

4.3.3 量化对模型精度的影响

4.3.4 量化校准

4.3.5 精度恢复技术

4.4 内存优化技术

4.4.1 权重共享（Weight Sharing）

4.4.2 网络剪枝（Pruning）

4.4.3 缓冲区复用与内存池管理

4.4.4 STM32Cube.AI的内存优化策略

4.4.5 实际案例分析：优化前后对比

交互演示：内存优化前后对比

本章测验

第4章 模型量化与优化

本章学习目标

目录

4.1 量化基本原理

4.1.1 什么是量化

4.1.2 为什么需要量化

4.1.3 对称量化 vs 非对称量化

4.1.4 逐层量化 vs 逐通道量化

交互演示：浮点到定点量化可视化

4.2 量化策略

4.2.1 训练后量化（PTQ）

4.2.2 量化感知训练（QAT）

4.2.3 动态量化 vs 静态量化

4.2.4 混合精度量化

4.2.5 如何选择量化策略

交互演示：量化策略对比仪表盘

4.3 精度与性能权衡

4.3.1 INT8 vs FP16 vs FP32 对比

4.3.2 量化对推理速度的影响

4.3.3 量化对模型精度的影响

4.3.4 量化校准

4.3.5 精度恢复技术

4.4 内存优化技术

4.4.1 权重共享（Weight Sharing）

4.4.2 网络剪枝（Pruning）

4.4.3 缓冲区复用与内存池管理

4.4.4 STM32Cube.AI的内存优化策略

4.4.5 实际案例分析：优化前后对比

交互演示：内存优化前后对比

本章测验

第4章模型量化与优化