三维点云处理（十三）：EM 期望最大化算法原理与 GMM 推导
在含有**隐变量（Latent / Unobserved Variables）**或缺失数据的概率模型中，直接对边缘对数似然求导通常极其困难。期望最大化算法（Expectation-Maximization, EM 算法） 是一种用于求解此类极大似然估计（MLE）或最大后验估计（MAP）的通用迭代优化算法。
本章系统梳理 EM 算法的通用理论框架，并使用拉格朗日乘子法给出 GMM 参数更新的完整推导过程。
一、 EM 算法的通用问题定义
1.1 观测变量、隐变量与参数
- 观测数据（Observed Data）：（如点的坐标或特征）；
- 隐变量（Latent Variables）：（如点归属于哪个簇的类别标签）；
- 模型参数（Model Parameters）：（如高斯分布的 ）。
目标是最大化观测数据的边缘对数似然函数：
由于对数符号内存在对隐变量 的求和/积分，难以直接求导。
二、 EM 算法的通用迭代步骤
EM 算法通过构造并优化完全数据对数似然的下界（即 函数），交替执行 E 步与 M 步：
2.1 E 步 (Expectation Step)：构建 函数
在固定当前参数 条件下，计算隐变量 的后验概率分布 。
构建 函数（即完全数据对数似然 关于隐变量后验分布的数学期望）：
2.2 M 步 (Maximization Step)：极大化 函数
通过求解优化问题，用新参数 极大化 函数：
2.3 EM 算法收敛性的几何与物理直觉
为什么交替执行 E 步和 M 步，就能保证对数似然函数 不断上升并最终收敛？ 背后隐藏的几何直觉是**“下界逼近（Minorize-Maximization）”**。这里利用了极大似然估计与 Jensen 不等式的核心原理（关于纯数学推导与基础知识，请[参见前置知识：00-核心概念辨析与扩展知识补充](file:///i:/Nutstore/1/blog/point-cloud/00-supplementary-knowledge.md)）：
- 真实的对数似然曲线 非常复杂，充满多个峰值，直接爬坡（求导）极其困难。
- E 步的本质：在当前参数 处，利用隐变量的后验概率构造出一个易于优化的下界函数（Evidence Lower Bound, ELBO）。在 这个点上，这个下界函数严格等于真实的对数似然（两曲线相切贴合）。
- M 步的本质：我们不去优化复杂的真实曲线，而是去寻找这个简单下界函数的最高点，得到 。
- 因为下界函数永远在真实曲线下方，且在 处下界升高了，那么真实的对数似然曲线在 处必定也随之升高。如此循环，直至抵达某个局部最高峰。
三、 基于 EM 算法的 GMM 完整推导
在 GMM 中，参数为 ，隐变量 表示 是否由第 个高斯生成。
3.1 步骤 1：完全数据的联合分布与对数似然
完全数据 的联合概率密度为：
取对数得到完全数据对数似然：
3.2 步骤 2：E 步——计算期望与构建 函数
计算隐变量 的后验期望 ：
其中 为上一章推导的后验责任度：
代入构建 函数：
3.3 步骤 3：M 步——求解偏导与拉格朗日乘子
1. 求解均值
对 函数关于 求偏导：
令偏导为 ，两边乘以 ：
设有效点数 ，即得：
2. 求解协方差矩阵
同理对 函数关于 求偏导并令其为 ，解得：
3. 求解混合权重 （使用拉格朗日乘子法）
由于权重受到等式约束 ，引入拉格朗日乘子 ，构建拉格朗日函数：
展开与 相关的项：
对 求偏导并设为 ：
对所有 求和：
由于 且 ：
代回偏导公式解得 ：
四、 总结：EM 算法在聚类与点云中的统一视角
| 算法 / 模型 | 观测数据 | 隐变量 | E 步含义 | M 步含义 |
|---|---|---|---|---|
| K-Means | 点坐标 | 硬分配指示 | 将每个点分配给最近质心 | 更新质心位置为几何均值 |
| GMM | 点坐标 | 软分配指示 | 计算软责任度概率 | 更新高斯均值 、协方差 与权重 |
| 点云配准 (如 Soft-ICP) | 源/目标点云 | 点与点之间的匹配对应关系 | 计算点对间的概率匹配权重 | 求解最佳刚体变换 极大化匹配重合度 |
EM 算法通过交替优化，保证了对数似然函数单调非递减 ，是点云无监督学习与统计几何建模的强大基石。