三维点云处理（〇）：核心概念辨析与扩展知识补充（数学先修课）
在深入研究三维点云算法（如 PCA 主成分分析、最小二乘拟合、点云配准等）的过程中，许多底层数学统计概念与工程逻辑构成了理解算法的核心支撑。为了让后续的工业级应用文章摆脱冗长枯燥的数学证明干扰，本文作为整个教程的**“第 0 章”先修课**，系统汇编了点云处理中本科生必须掌握的通用数学基础与核心辨析。
一、 线性代数与矩阵分析核心
1.1 特征值分解 (EVD) 与奇异值分解 (SVD)
特征值分解 (Eigenvalue Decomposition, EVD) 适用于实对称矩阵（如协方差矩阵 ）：
- 是正交矩阵，包含一组相互正交的特征向量（代表空间的主轴方向）。
- 是对角矩阵，对角线上的特征值代表数据在对应主轴上的散布程度（方差）。
奇异值分解 (Singular Value Decomposition, SVD) 适用于任意形状的矩阵 ：
- SVD 的几何意义是将矩阵乘法分解为三步：旋转 () 缩放 () 再旋转 ()。
- 与 PCA 的联系：协方差矩阵 。因此 SVD 的右奇异向量 即为 PCA 的特征向量，奇异值的平方除以 即为特征值。
- 在 ICP 配准中的应用：在求解两组三维点集的刚体旋转矩阵 时，通过对去质心互协方差矩阵进行 SVD 分解，最优旋转解为 （Kabsch-Umeyama 定理）。
1.2 瑞利商 (Rayleigh Quotient) 定理
瑞利商定义为：
其中 为实对称矩阵。在许多点云优化问题（如 PCA 寻找最大方差投影、最小二乘寻找最小距离投影）中，都涉及到在单位球面上最优化二次型 。
核心结论：在约束 下，拉格朗日乘子法导出 。
- 最大值：等于矩阵 的最大特征值 ，此时 为对应的第一特征向量。
- 最小值：等于矩阵 的最小特征值 ，此时 为对应的最小特征向量。
1.3 雅可比矩阵 (Jacobian) 与海森矩阵 (Hessian)
在非线性优化（如 ICP 的 Point-to-Plane 变体与 NDT 配准）中，由于目标函数非线性，我们需要对其进行泰勒展开局部线性化：
- 雅可比矩阵 ：目标向量函数对状态变量（如 6 自由度位姿）的一阶偏导数矩阵。它指示了残差下降的“坡度方向”。
- 海森矩阵 ：标量目标函数的二阶偏导数矩阵（）。它描述了优化的“曲率”，其特征值决定了在各个自由度上的约束强度。若存在特征值趋近于 0，则说明发生了几何退化（如 ICP 在平坦墙面上的滑动漂移）。
二、 概率论与数理统计基础
2.1 方差、标准差与协方差
| 维度 | 方差 (Variance ) | 标准差 (Std Deviation ) | 协方差 (Covariance) |
|---|---|---|---|
| 描述对象 | 单变量 | 单变量 | 双变量 |
| 核心含义 | 数据离散程度（偏离均值的平方和） | 数据离散程度（直观尺度） | 两变量联动方向与程度 |
| 单位 | 原始单位² | 原始单位 | 单位 单位 |
| 应用 | 数学推导、最小二乘平方和 | 结果解释、置信区间判定 | 构建多维正态分布的协方差矩阵 |
2.2 马哈拉诺比斯距离 (Mahalanobis Distance)
普通的欧氏距离（Euclidean Distance）假设空间各个方向的权重相同。但在点云聚类（如 GMM）与 NDT 配准中，数据在不同方向上的分布是各向异性的。 马氏距离引入了协方差矩阵 ，考虑了数据的分布形态：
在等高线图上，马氏距离表现为以分布中心为圆心的同心椭圆。
2.3 Jensen 不等式与极大似然估计 (MLE)
- 极大似然估计 (MLE)：通过寻找一组参数，使得已发生样本数据的联合概率（似然）最大化。通常通过取对数转换为 Log-Likelihood 求解。
- Jensen 不等式：对于严格凹函数（如对数函数 ），期望的函数大于等于函数的期望：。在 EM 算法 (Expectation-Maximization) 中，直接最大化含隐变量的对数似然极其困难，正是利用 Jensen 不等式构造了一个下界（E 步），通过不断拉高下界（M 步）来间接实现对数似然的最大化。
2.4 单一高斯分布 vs GMM 混合高斯模型
- 高斯分布：单一的钟形概率分布，由 确定，仅适用于单中心规则分布。
- GMM 高斯混合模型：由 个高斯分布按权重 线性组合而成的加权混合分布，能拟合包含多个类别或非对称特性的任意复杂连续分布。
三、 最优化方法基础
3.1 梯度下降 vs 牛顿法 / 高斯-牛顿法
解决目标函数最小化 的两大流派：
- 梯度下降 (Gradient Descent)：仅利用一阶导数（雅可比 ）指引，每次沿最陡坡度下降。缺点是在峡谷形地貌中极易震荡，收敛极慢。
- 牛顿法 / 高斯-牛顿法 (Newton / Gauss-Newton)：引入二阶导数（海森矩阵 ）来近似目标函数的二次曲面：它一步迈向抛物面的谷底。在 NDT 正态分布配准与高阶最小二乘拟合中，牛顿法虽然单步计算量大，但能以二次收敛速度逼近极值，远胜于一阶梯度下降。
3.2 拉格朗日乘子法 (Lagrange Multipliers)
当面临带有等式约束的优化问题（如 PCA 中约束方向向量的模长为 1，即 ），需要使用拉格朗日乘子法。 构建拉格朗日函数 ，对变量与乘子分别求偏导置零，将带约束优化巧妙转化为无约束求导问题。
四、 三维视觉与聚类基础概念辨析
4.1 K-Means 与 Mean Shift 聚类对比
| 对比维度 | K-Means | Mean Shift |
|---|---|---|
| 聚类数 | 必须预先指定 | 无需指定，根据密度分布自动发现 |
| 算法思想 | 基于距离划分：将数据分配给最近质心 | 基于密度估计：沿概率密度梯度上升寻找山峰 |
| 簇形状假设 | 倾向于发现球形/凸形簇 | 可发现任意几何形状的非凸簇 |
| 初始值敏感度 | 高度敏感 | 不敏感 |
4.2 稀疏点云 (SfM) 与稠密重建 (MVS) 对比
- 稀疏重建 (SfM)：利用图像提取的稀疏关键特征点（如 SIFT/ORB）进行跨视角匹配与三角化投影构成的点云，主要用于位姿估计与相机轨迹对齐。
- 稠密重建 (MVS)：利用图像绝大部分有效像素恢复表面细节，计算量庞大，用于高精度的网格重建与纹理贴图。