Skip to content

Orthogonal Basis

向量空间的正交基与标准正交基，格拉姆-施密特正交化过程。

Overview

正交基是线性代数中的核心概念。一组基向量如果两两正交（内积为零），则称为正交基；如果每个基向量还是单位长度，则称为标准正交基（Orthonormal Basis）。正交基大大简化了坐标计算和投影操作。

Key Facts / Claims

定义

  • 正交性：\(\mathbf{u} \cdot \mathbf{v} = 0\)
  • 单位长度：\(\|\mathbf{u}\| = 1\)，即 \(\mathbf{u} \cdot \mathbf{u} = 1\)
  • 标准正交基：同时满足正交性和单位长度的基

格拉姆-施密特正交化

  • 从任意线性无关向量组 \(\{\mathbf{v}_1, \dots, \mathbf{v}_n\}\) 构造正交基 \(\{\mathbf{u}_1, \dots, \mathbf{u}_n\}\)
  • 递推公式： $$ \mathbf{u}k = \mathbf{v}_k - \sum{j=1}^{k-1} \frac{\mathbf{u}_j \cdot \mathbf{v}_k}{\mathbf{u}_j \cdot \mathbf{u}_j} \mathbf{u}_j $$
  • 每一步将当前向量投影到已构建的正交子空间上，减去投影分量

标准例子

  • 二维：\((1,0)\) 和 \((0,1)\)
  • 三维：\((1,0,0)\), \((0,1,0)\), \((0,0,1)\)

在机器学习中的应用

  • PCA：特征向量构成正交基，实现数据降维
  • QR 分解：将矩阵分解为正交矩阵 Q 和上三角矩阵 R
  • 傅里叶变换：正弦/余弦函数构成函数空间的正交基
  • [[machine-learning-basics]] — Fisher LDA 中的投影方向正交性
  • [[gaussian-distribution]] — 多维高斯的协方差矩阵特征分解与正交基
  • [[transformer]] — 注意力机制中的 Q/K/V 投影可理解为坐标变换

Sources