奇异值分解

谁指向它（入边）

推出 1

• 谱定理（实对称）、伴随算子 ⟹ 本页推出
  谱定理 $\implies$ 奇异值分解

  设 $A \in M_{m \times n}(\mathbb{R})$，秩 $r$。

  1. $A^{\mathsf{T}}A \in M_n$ 是对称半正定的（$x^{\mathsf{T}}A^{\mathsf{T}}Ax = \|Ax\|^{2} \ge 0$），故由谱定理存在标准正交基 $v_1, \ldots, v_n$ 与 $\lambda_1 \ge \cdots \ge \lambda_n \ge 0$ 使 $A^{\mathsf{T}}A v_i = \lambda_i v_i$。
  2. 令 $\sigma_i := \sqrt{\lambda_i}$，设 $\sigma_1 \ge \cdots \ge \sigma_r > 0 = \sigma_{r+1} = \cdots$。对 $i \le r$ 令 $u_i := A v_i / \sigma_i$，则 $\|u_i\| = 1$ 且 $\langle u_i, u_j\rangle = \delta_{ij}$（用 $\langle Av_i, Av_j\rangle = \lambda_j\delta_{ij}$）。
  3. 把 $u_1, \ldots, u_r$ 扩充成 $\mathbb{R}^{m}$ 的标准正交基 $u_1, \ldots, u_m$；把 $v_1, \ldots, v_n$ 补全成标准正交基。则 $Av_i = \sigma_i u_i$（$i \le r$）且 $Av_i = 0$（$i > r$，因为 $\|Av_i\|^{2} = \lambda_i = 0$）。
  4. 以 $v_i$ 为定义域基、$u_i$ 为值域基写出矩阵：$A$ 在这两组基下是 $\Sigma = \operatorname{diag}(\sigma_1, \ldots, \sigma_r, 0, \ldots)$，即 $A = U\Sigma V^{\mathsf{T}}$。∎

  关键观察只有一条：$A^{\mathsf{T}}A$ 半正定 —— 于是谱定理给出正交的特征基，而 $A$ 把这组基送到一组正交向量上（差伸缩 $\sigma_i$）。SVD 的全部内容就是这个观察的坐标化。