三维点云处理（十二）：高斯混合模型 (GMM) 聚类
在点云聚类中，传统的 K-Means 算法采用“硬分配（Hard Assignment）”，强行将每个点划归为单一簇，且假设簇为球形各向同性分布。然而，真实点云数据常常包含各向异性（椭球状）分布、重叠区域以及噪声。高斯混合模型（Gaussian Mixture Model, GMM） 通过引入多维高斯分布与概率“软分配（Soft Assignment）”，为点云聚类提供了坚实的概率建模基础。
一、 从硬分配到概率软分配
1.1 K-Means 的局限与 GMM 的动机
- 不确定性评估（Uncertainty Estimation）：位于两簇交界边缘或噪声区域的点，K-Means 依然强制赋予硬标签 0 或 1，缺乏置信度表达。
- 各向异性形状拟合：K-Means 假设各个方向方差一致（球形）；而 GMM 通过协方差矩阵 可以拟合任意方向拉伸、倾斜的椭球状点云簇。
二、 多维高斯分布与 GMM 概率表达
2.1 多维高斯分布 (Multivariate Gaussian Distribution)
对于 维空间中的点 ，均值向量为 ，协方差矩阵为 ，其概率密度函数定义为：
- 几何直觉：协方差矩阵 决定了椭球分布的主轴方向与拉伸程度（相当于三维点云的 PCA 协方差矩阵特征向量与特征值）。
2.2 GMM 的线性组合表达
高斯混合模型将数据分布假设为 个单高斯分布的线性组合：
其中 为第 个高斯成分的混合系数/先验权重（Mixing Coefficients），满足约束：
参数集合表示为 。我们可以利用拟合好的 生成新的数据点，但聚类的核心目的是求解反向的后验归属问题。
2.3 多目标拟合的工程物理意义
在三维点云处理中，GMM 的数学公式具有极其直观的物理意义。将一个复杂的自动驾驶场景拟合为 个高斯混合分布，本质上是将场景解构为 个基础几何体：
- 均值 ：代表第 个物体的空间质心位置。
- 协方差矩阵 ：代表第 个物体的尺寸、形状与朝向。例如，如果 的特征值在一个方向上极大，在另两个方向极小，说明拟合出了一个细长的物体（如电线杆或行人）；如果两个特征值大，一个极小，说明拟合出了一个平面（如一段路面或墙壁）。
- 混合权重 ：代表第 个物体的相对点数规模。一辆大卡车的 显然会远大于一个孤立的交通锥。
与强制划分“势力范围”的 K-Means 不同，GMM 允许这些椭球体在空间中发生交叠（Overlap）。对于处在交叠区域的点，GMM 能够自然地输出“它有 60% 的概率属于电线杆，40% 的概率属于背后的墙面”这样的软概率，为后续的跟踪算法或分类器提供宝贵的置信度（Confidence）信息。
三、 隐变量表达与后验概率 (Posterior Responsibility)
3.1 隐变量 的引入
为了用图模型表达 GMM，引入 维二进制隐变量 ，采用 （独热编码）表示：
联合概率分布写为：
对隐变量 求和边缘化后，即可还原出上一节的概率密度 。
3.2 后验概率（责任度 ）推导
给定已知数据点 ，其属于第 个高斯分布的后验概率定义为责任度（Responsibility ）。根据贝叶斯法则（Bayes' Rule）与全概率公式：
- 含义： 即为点 分配给第 个簇的软概率，满足 。
四、 极大似然估计 (MLE) 与奇异性危机
4.1 极大似然估计 (MLE) 目标
给定 个独立同分布的数据点集 ，GMM 参数的对数似然函数为：
由于对数符号内部包含了求和符号 ，无法直接求出封闭解析解。
4.2 奇异性问题 (Singularity Problem)
在直接对 GMM 进行 MLE 求解时，会出现严重的数值退化/奇异性危机：
解决方案与工程技巧：
- 启发式重置：在迭代过程中若发现某高斯成分的协方差行列式 过小，将其质心 重新初始化为随机数据点，并重置 为较大初始值；
- MAP（最大后验估计）：对协方差矩阵加入先验约束（如 Inverse-Wishart 先验）；
- 贝叶斯 GMM (Bayesian GMM)：使用变分推导引入不确定性估计。
五、 GMM 参数迭代更新公式汇总
通过计算对数似然函数对各个参数的偏导数（或利用 EM 算法），可导出 GMM 参数的闭式迭代更新公式：
定义第 个簇的有效样本数（Effective Number of Points）：
1. 均值向量 更新：
- 解读：新质心是以责任度 为权重的加权平均值。
2. 协方差矩阵 更新：
- 解读：新协方差矩阵是以责任度为权重的加权协方差。
3. 混合权重 更新：
- 解读：新权重等于该簇有效点数占总点数的比例。
六、 总结与算法优缺点
| 维度 | 特性总结 |
|---|---|
| 计算复杂度 | ，涉及 协方差矩阵与逆矩阵计算 |
| 算法优点 | 1. 提供完整的概率不确定性评估（软分配）； 2. 能拟合各向异性椭球状分布（比 K-Means 适应性强）； 3. 对边缘噪声具有更强的鲁棒性。 |
| 算法缺点 | 1. 需预先指定簇数量 ； 2. 强假设每个簇服从凸高斯分布（无法处理非凸流形）； 3. 存在似然函数奇异性坍塌风险（Singularity）。 |