梯度
梯度(Gradient)
- 定义
- 依赖深度 layer 11
- 分析学
- 多元微分
def.gradient · 定义 · 微积分 · 多元
陈述
设 开, 在 可微。则 是 的线性映射,即对偶空间 中的元素。由 的标准内积与 Riesz 表示,存在唯一的 使
它叫 在 的梯度。在标准内积与标准基下
说明
⭐ 一句话:梯度是把对偶向量用内积「搬回来」的产物。 天生住在对偶空间 里,而「搬回来」需要一个内积 —— 换个内积,同一个 就给出不同的梯度向量。
⭐ 这也是微分几何里必须区分 (余切向量)与 (切向量)的原因: 不依赖任何度量, 依赖。
⭐ 几何内容(都靠 Cauchy–Schwarz,thm.cauchy-schwarz):
- ;
- 在单位方向里, 给出最大的方向导数 (上升最快);
- 垂直于过 的等值面 (因为沿等值面的方向导数为零)。
⚠ 「梯度指向上升最快」只在标准内积下成立;换了内积,「最快」要按那个内积重新度量(这也是最优化里预处理 / 牛顿法的出发点)。
谁指向它(入边)
定义引用 2
-
梯度由 Riesz 表示给出:把对偶向量用内积「搬回」原空间,所以必须先用内积把对偶与原空间认同。
-
全微分 天生住在对偶空间 里 —— 不先讲对偶,「梯度」这个词无法定义。
参考
- Spivak, Calculus on Manifolds, Ch. 2
- Rudin, Principles of Mathematical Analysis, Ch. 9
同一星团的其他概念 25 个
- 赋范空间layer 9
- 浸入 / 淹没 / 嵌入layer 12
- 压缩映射layer 14
- Banach 空间layer 15
- 压缩映射原理layer 15
- 偏导数layer 16
- 方向导数layer 17
- Hessian 矩阵layer 17
- 可微与全微分layer 18
- Jacobi 矩阵layer 19
- 多元链式法则layer 20
- 多元中值定理layer 22
- 混合偏导相等layer 22
- 逆映射定理layer 23
- 多元 Taylor 公式layer 23
- 隐函数定理layer 24
- 逆映射定理(Banach 版)layer 24
- Morse 引理layer 24
- Sard 定理layer 24
- 极值判别(Hessian 判据)layer 24
- 常秩定理layer 25
- 隐函数定理(Banach 版)layer 25
- 正则值原像定理layer 25
- Lagrange 乘子法layer 26