最佳逼近与投影公式

定理：正交投影是最佳逼近，且可用标准正交基算出

定理
依赖深度 layer 14
抽象代数
内积空间与正交性

thm.projection-formula · 定理 · 线性代数 · 内积 · 逼近

陈述

设 $U \subseteq V$ 是有限维子空间， $v \in V$ 。则

(1) 最佳逼近性： $\|v - P_U v\| \le \|v - u\|$ 对一切 $u \in U$ 成立，等号仅当 $u = P_U v$ ；

(2) 显式公式：若 $(e_1, \ldots, e_k)$ 是 $U$ 的标准正交基，则

P_U v = \sum_{j=1}^{k} \langle e_j, v \rangle\, e_j, \qquad \|v\|^{2} = \|P_U v\|^{2} + \|v - P_U v\|^{2} \ge \sum_{j=1}^{k} |\langle e_j, v \rangle|^{2}

（最后一条叫 Bessel 不等式。）

说明

⭐ 「最佳逼近」的几何含义： $P_U v$ 是 $U$ 中离 $v$ 最近的点，而「最近」这件事被内积的范数定义得很好。这是最小二乘法、Fourier 级数（截断到前 $n$ 项最优）的共同来源。

⭐ 显式公式说明标准正交基的威力：投影不必解方程组，只要算 $k$ 个内积。

⚠ 「 $U$ 有限维」或「 $U$ 闭」是必需的：无限维且不闭时，最近的点可能不存在（只有下确界）。

谁指向它（入边）

推出 1

正交投影、Gram–Schmidt 正交化 ⟹ 本页推出

正交投影 + 标准正交基 $\implies$ 最佳逼近与显式公式

显式公式：设 $(e_1, \ldots, e_k)$ 是 $U$ 的标准正交基，令 $u := \sum_i \langle e_i, v\rangle e_i \in U$ 。则对每个 $j$ ，
$\langle e_j, v - u\rangle = \langle e_j, v\rangle - \sum_i \langle e_i, v\rangle\,\langle e_j, e_i\rangle = \langle e_j, v\rangle - \langle e_j, v\rangle = 0$
故 $v - u \perp U$ ，即 $u = P_U v$ 。
最佳逼近：对任意 $u' \in U$ ，由 $v - P_U v \perp U$ 与 $P_U v - u' \in U$ 得（勾股定理）
$\|v - u'\|^{2} = \|v - P_U v\|^{2} + \|P_U v - u'\|^{2} \ge \|v - P_U v\|^{2}$
等号仅当 $P_U v = u'$ 。
Bessel：把 $v = P_U v + (v - P_U v)$ 用勾股定理，并注意 $\|P_U v\|^{2} = \sum_i |\langle e_i, v\rangle|^{2}$ （对标准正交组合直接展开）。∎

证明里「 $v - P_Uv \perp U$ 且 $P_Uv - u' \in U$ 」这两条是勾股定理能用的全部理由 —— 也是「正交投影」比一般射影好的地方。

参考

Hoffman–Kunze, Linear Algebra, Ch. 8

同一星团的其他概念 16 个

继续

在星图里打开「最佳逼近与投影公式」　·　全部 870 个概念　·　 Markdown 原文　·　读图指南与记号表