5.1 $R^n$中的标量积

• 欧几里得长度

$$||x||=(x^Tx)^{\frac{1}{2}}=\begin{cases} \sqrt{x^2_1+x^2_2} & x \in R^2 \\ \sqrt{x^2_1+x^2_2+x^2_3} & x \in R^3时 \end{cases}$$

$R^2$和$R^3$中的标量积

• 定义：令x和y均为$R^2$或$R^3$中的向量，x和y间的距离定义为数值$||x-y||$
• 定理：若x和y为$R^2$或$R^3$中的两个非零向量，且θ为它们的夹角，则

$$x^Ty=||x|| ||y|| cosθ$$

• 推论（柯西-施瓦茨不等式）：若x和y为$R^2$或$R^3$中的向量，则

$$|x^Ty| \leqslant ||x||||y||$$

当且仅当其中一个向量为0，或另外一个向量为另一个向量的倍数的时，等号成立

• 定义：若$x^Ty=0$，则$R^2$（或$R^3$）中的向量x和y称为正交的

标量和向量投影

• x到y的标量投影

$$α=\frac{x^Ty}{||y||}$$

• x到y的向量投影

$$p=αu=α\frac{1}{||y||}y=\frac{x^Ty}{y^Ty}y$$

• 记号：若$P_1$和$P_2$为3维空间的两个点，我们将用记号$\overrightarrow{P_1P_2}$表示从$P$到$P_2$的向量

$R_n$中的正交性

5.2正交子空间

• 定义：设X和Y为$R^n$的子空间，若对每一个$x \in X$及$y \in Y$都有$x^Ty=0$，则称X和Y为正交的，若X和Y为正交的，我们记为$X \perp Y$

• 定义：令Y为$R^n$的子空间，$R^n$中所有与Y中的每一向量正交的向量空间集合记为$Y^{\perp}$，因此

$$Y^{\perp}=\{x \in R^n|x^Ty=0,对每一y \in Y\}$$

集合$Y^{\perp}$称为Y的正交补

基本子空间

• 定理（基本子空间定理）：若A为mXn矩阵，则$N(A)=R(A^T)^{\perp}$，且$N(A^T)=R(A)^{\perp}$
• 定理：若S为$R^n$的一个子空间，则$dimS+dimS^{\perp}=n$，此外，若$\{x_1,\cdots,x_r \}$为S的一组基，且$\{x_{r+1},\cdots,x_n \}$为$S^{\perp}$的一组基，则$\{x_1,\cdots,x_r,x_{r+1},\cdots,x_n \}$为$R_n$的一组基
• 定义：若U和V为一个向量空间W的子空间，且每一个$w \in W$可以唯一地写为一个和u+v，其中$u \in U$，且$v \in V$，则我们称W为U与V的直和，并记做$W=U \oplus V$
• 定理：若S为$R^n$的一个子空间，则

$$R^n=S \oplus S^{\perp}$$

• 定理：若S为$R^n$的一个子空间，则$(S^{\perp})^{\perp}=S$
• 推论：若A为一mXn矩阵，且$b \in R^m$，则或者存在一个向量$x \in R^n$使得Ax=b，或者存存在一个向量$y \in R^m$使得$A^{\perp}y=0且y^{T}b \neq 0$

5.3 最小二乘问题

超定方程组的最小二乘解

• 定理：令S为$R^m$的一个子空间，对每一个$b \in R^m$，在S中均存在一个唯一的元素p和b最接近，即对任意$y \neq p$，有

$$||b-y|| \gt ||b-p||$$

此外，S中给定的向量p和向量$b \in R^m$最接近的充要条件是$b-p \in S^{\perp}$

• 定理：若A是一秩为n的mXn矩阵，则正规方程组

$$A^TAx=A^Tb$$

有唯一解

$$\widehat x=(A^TA)^{-1}A^Tb$$

且$\widehat{x}$为方程组Ax=b唯一的最小二乘法

5.4 内积空间

定义和例子

• 定义：一个向量空间V上的内积为V上的运算，它将V中向量x和y与一个实数<x,y>关联，并满足以下条件

  1. I.$<x,y> \geqslant 0$，等好成立的充要条件是x=0
  2. II.对V中所有的x和y，有<x,y>=<y,x>
  3. III.对V中所有的x，y，z及所有的标量α和β，有<αx+βy,z>=α<x,z>+β<y,z> 一个定义了内积的向量空间V称为内积空间

• 向量空间$R^n$

• 向量空间$R^{mXn}$

• 向量空间C[a,b]

内积空间的基本性质

• 定理（毕达哥拉斯定律）：若u和v为一个内积空间V中的正交向量，则

$$||u+v||^2=||u||^2+||v||^2$$

• 定义：若u和v为内积空间V中的向量，且$v \neq 0$，则u和v的标量投影为

$$α=\frac{<u,v>}{||v||}$$

且u到v的向量投影为

$$p=α(\frac{1}{||v||}v)=\frac{<u,v>}{<v,v>}v$$

• 观察：若$v \neq 0$，且p为u到v的向量投影，则
  1. u-p和p是正交的
  2. u=p的充要条件为u为一个标量乘以v
• 定理（柯西-施瓦茨不等式）：若u和v为内积空间V中的两个向量，则

$$|<u,v>| \leqslant ||u||||v||$$

等式成立的充要条件是u和v为线性相关的。

范数

• 定义：设V为一个向量空间，若对每一向量$v \in V$，存在一个与之相关联的实数||v||，称为v的范数，它满足
  1. ||0||>0，其中等式成立的充要条件为v=0.
  2. 对任一标量α，||αv||=|α| ||v||;
  3. 对所有的$v,w \in V$，$||v+w|| \leqslant ||v||+||w||$

则称V为线性赋范空间，第三个条件称为三角不等式

• 定理：如果V为一内积空间，则对任意的$v \in V$，方程

$$||v||=\sqrt{<v,v>}$$

定义了V上的一个范数

5.5 正交集

• 定义：令$v_1,v_2,\cdots,v_n$为一内积空间V中的非零向量，若当$i \neq j$时有$<v_i,v_j>=0$，则$\{v_1,v_2,\cdots,v_n \}$称为向量的正交集
• 定理：若$\{v_1,v_2,\cdots,v_n \}$为一内积空间V中非零向量的正交集，则$v_1,v_2,\cdots ,v_n$是线性无关的
• 定义：规范正交的向量集合是单位向量的正交集。
• 定理：令$\{u_1,u_2,\cdots,u_n \}$为一个内积空间V的规范正交基，若$v=\sum_{i-1}^{n}c_iu_i$，则$c_i=<v,u>$
• 推论：令$\{u_1,u_2,\cdots,u_n \}$为一个内积空间V的规范正交基，若$u=\sum_{i-1}^{n}a_iu_i$及$v=\sum_{i-1}^{n}b_iu_i$，则

$$<u,v>=\sum_{i-1}^{n}a_ib_i$$

• 推论（帕塞瓦尔公式）：若$\{u_1,u_2,\cdots,u_n \}$为一个内积空间V的一组规范正交基，且$v=\sum_{i-1}^{n}c_iu_i$，则

$$||v||^2=\sum_{i-1}^{n}c_i^2$$

正交矩阵

• 定义：若一个nXn矩阵Q的列向量构成$R^n$中的一组规范正交基，则称Q为正交矩阵
• 定理：一个nXn矩阵Q是正交矩阵的充要条件为$Q^TQ=I$
• 正交矩阵的性质：若Q为一个nXn正交矩阵，则：

1. Q的列向量构成可$R^n$的一组规范正交基
2. $Q^TQ=I$
3. $Q^T=Q^{-1}$
4. <Qx,Qy>=<x,y>
5. $||Qx||_2=||x||_2$

置换矩阵

规范正交集与最小乘问题

• 定理：若A的列向量构成$R^m$中的规范正交集，则$A^TA=I$且最小二乘问题的解为

$$\widehat x=A^Tb$$

• 定理：令S为一个内积空间V的子空间，并令$x \in V$，令$\{u_1,u_2,\cdots.u_n \}$为S的一组规范正交基，若

$$p=\sum_{i-1}^{n}c_iu_i$$

其中对每一i，

$$c_i=<x,u_i>$$

• 定理：在上个定理的假设下，p为S中最接近x的元素，也就是说，对S中的任何$y \neq p$，都有

$$||y-x|| \gt ||p-x||$$

• 定理：令S为$R^m$的一个非零子空间，并令$b \in R^m$，若$\{u_1,u_2,\cdots,u_k \}$为S的一组规范正交基，且$U=(u_1,u_2,\cdots,u_k)$，则b到S上的投影p为

$$p=UU^Tb$$

函数逼近

用三角多项式逼近

5.6 格拉姆-施密特正交化过程

• 定理（格拉姆-施密特过程）：令$\{x_!,x_2,\cdots,x_n \}$一内积空间V的一组基，令

$$u_1=(\frac{1}{||x_1||})x_1$$

并递归地定义$u_2,\cdots,u_n$为

$$u_{k+1}=\frac{1}{||x_{k+1}-p_k||}(x_{k+1}-p_k), k=1,\cdots,n-1$$

其中

$$p_k=<x_{k+1},u_1>u_1+<x_{k+1},u_2>u_2+\cdots+<x_{k+1},u_k>u_k$$

为$x_{k+1}$到$Span(u_1,u_2,\cdots,u_k)$上的投影向量，集合

$$\{u_1,u_2,\cdots,u_n \}$$

即为V的一组规范正交基

• 定理（格拉姆-施密特QR分解）：若A是一秩为n的mXn矩阵，则A可分解为乘积QR，其中Q为一各列向量正交的mXn，且R为一nXn上三角矩阵，其对角元素均为正。[注：R必为非奇异的，因为det(R)>0]

• 定理：若A是一秩为n的mXn矩阵，则Ax=b的最小二乘解$\widehat x=R^{-1}Q^Tb$，其中Q和R为上述定理中给出的因式分解矩阵，解$\widehat{x}$可以使得回代法求解$Rx=Q^Tb$

改进的格拉姆-施密特过程

5.7 正交多项式

• 定义：令$p_0(x),p_1(x),\cdots$为一多项式序列，且对每一i有$degp_i(x)=i$,若当$i \neq j$时，$<p_i(x),p_j(x)>=0$，则$\{p_n(x)\}$称为正交多项式序列，若$<p_i,p_j>=\delta_{ij}$，则$\{p_n(x)\}$称为规范正交多项式序列
• 定理：若$p_0，p_1,\cdots$为一正交多项式序列，则
  1. $p_0,\cdots,p_{n-1}$构成了$P_n$的一组基
  2. $p_n \in P^{\perp}_n(即P_n和每一个数小于n的多项式正交)$
• 定理：令$p_0,p_1,\cdots$为一正交多项式序列，对每一i，令$a_i$表示$p_i$的首系数，并定义$P_{-1}(x)$为零多项式，则

$$a_{n+1}p_{n+1}(x)=(x-\beta_{n+1})p_n(x)-\alpha_n\gamma_np_{n-1}(x)\ \ \ (n \geqslant 0)$$

其中$\alpha_0=\gamma_0=1$，且

$$a_n=\frac{a_{n-1}}{a_n},\beta_n=\frac{<p_{n-1},xp_{n-1}>}{<p_{n-1},p_{n-1}>},\gamma_n=\frac{<p_{n},p_{n}>}{<p_{n-1},p_{n-1}>}\ \ \ (n \geqslant 1)$$