矩阵论：欧式空间与线性变换介绍
欧式空间与线性变换介绍
欧式（Euclid）空间作为一种特殊的线性空间，我们先引入线性空间的概念。
定义 1: 线性空间
设 $V$ 是一个非空集合，它的元素用 $x, y, z$ 等表示，称为向量；$K$ 是一个数域，它的元素用 $k, l, m$ 表示，如果 $V$ 满足以下条件：
-
在 $V$ 中定义一个加法运算，即当 $x,y\in V$ 时，有唯一的和 $x + y\in V$，且满足以下性质：
- 结合律: $x + (y + z) = (x + y) + z$;
- 交换律: $x + y = y + x$;
- 零元素存在性: $\exists 0, s.t. x + 0 = x$;
- 负元素存在性: $\forall x\in V,\exists y\in V, s.t.x + y = 0$，记 $y = -x$;
-
在 $V$ 中定义数乘运算，即当 $x\in V,k \in K$ 时，有唯一的乘积 $kx\in V$，且满足以下性质：
- 因子分配律: $k(x+y) = kx + ky$;
- 分配律: $(k+l)x = kx + lx$;
- 结合律: $k(lx) = (kl)x$;
- 中性元: $1 x = x$;
则称 $V$ 是数域 $K$ 上的线性空间。
定义中的 8 条性质非常重要。如果对于数域 $K$，向量空间 $V$，设加群 $(V, +)$（$+$ 为 $V$ 上满足交换律的运算），不难验证其满足群的定义。定义 $K \times V \rightarrow V: (k, \alpha) \rightarrow k\alpha$（即 $V$ 上的数乘运算），可以验证 $V$ 是一个 $K$-模。即，线性空间是一类特殊的模。
为借助数量运算以实现向量的运算，还要引入向量的坐标。
定义 2: 线性空间的基
设 $V$ 是数域 $K$ 上的线性空间，$x_1,x_2,\cdots,x_r\in V$，如果它满足：
- $x_1,x_2,\cdots,x_r$ 线性无关;
- $\forall x \in V$ 都是 $x_1,x_2,\cdots,x_r$ 的线性组合;
则称 $x_1,x_2,\cdots,x_r$ 是 $V$ 的一个 基，称 $x_i(i=1,2,\cdots,r)$ 为 基向量。
定义 3: 坐标系
称线性空间 $V^n$ 上的一个基 $x_1, x_2, \cdots, x_n$ 为 $V^n$ 的一个 坐标系。设向量 $x \in V^n$，它在该基下的线性表示式为
$$
x = \xi_1x_1 + \xi_2x_2 + \cdots + \xi_nx_n
$$
则称 $\xi_1,\xi_2,\cdots,\xi_n$ 为 $x$ 在该基下的 坐标 或 分量，记为
$$
(\xi_1,\xi_2,\cdots,\xi_n)^\top
$$
显然，线性空间 $V^n$ 存在多个不同的基，对应多个不同的坐标系，我们希望研究当基改变时，向量的坐标如何改变。
基变换
首先介绍 基变换，即 $V^n$ 的一个基 $\boldsymbol{X} = ( \boldsymbol{x}_1, \boldsymbol{x}_2, \cdots, \boldsymbol{x}_n)$ 变为另一个基 $\boldsymbol{Y} = ( \boldsymbol{y}_1, \boldsymbol{y}_2, \cdots, \boldsymbol{y}_n)$。
由基的定义可知：
$$
\boldsymbol{y}i = c{1i} \boldsymbol{x}1 + c{2i} \boldsymbol{x}2 + \cdots + c{1n} \boldsymbol{x}_n(i = 1,2,\cdots,n)
$$
上式可以写成矩阵乘法形式：
$$
( \boldsymbol{y}_1, \boldsymbol{y}_2, \cdots, \boldsymbol{y}_n) =
( \boldsymbol{x}_1, \boldsymbol{x}_2, \cdots, \boldsymbol{x}_n) \boldsymbol{C}
\tag{2.5.1}
$$
其中矩阵
$$
\boldsymbol{C} = \begin{bmatrix}
c_{11} & c_{12} & \cdots & c_{1n}\
c_{21} & c_{22} & \cdots & c_{2n}\
\vdots & \vdots & & \vdots\
c_{n1} & c_{n2} & \cdots & c_{nn}
\end{bmatrix}
$$
称为基变换的 过渡矩阵，式 (2.5.1) 称为 基变换公式。
显然，过渡矩阵是可逆矩阵，因为新基能变换为旧基。
内积与欧式空间
在线性空间中，向量的基本运算仅为线性运算。例如，在熟悉的二维或三维向量空间中，我们发现向量的模长、向量间的夹角等度量概念未能被线性空间直接表达。因此，我们引入内积与内积空间的概念。
内积的定义
定义
设 $V$ 是实数域 $\mathbb{R}$ 上的线性空间，若对 $\forall x,y \in V$，按照某种规则定义一个实数 $(x,y)$，满足以下条件：
- 交换律：$(x,y) = (y,x)$；
- 分配律：$(x,y+z) = (x,y) + (x,z)$；
- 齐次性：$(kx,y) = k(x,y) = (x,ky), \forall k\in \mathbb{R}$；
- 非负性：$(x,x) \geq 0$，且 $(x,x) = 0 \iff x = 0$。
则称 $(x,y)$ 为向量 $x,y$ 的内积，称 $V$ 为欧式空间（Euclidean Space）。
内积的性质
内积具有以下基本性质：
- $( \boldsymbol{x}, k \boldsymbol{y}) = k( \boldsymbol{x}, \boldsymbol{y})$；
- $( \boldsymbol{x}, \boldsymbol{0}) = 0$。
向量的模长
在欧式空间中，我们可以定义向量的长度（模、范数）如下：
定义
在欧式空间 $V$ 中，非负实数
$$
\left| \boldsymbol{x} \right| = \sqrt{( \boldsymbol{x}, \boldsymbol{x})}
$$
称为向量 $\boldsymbol{x}$ 的长度（或 2-范数，下一节将介绍）。
单位向量与单位化
在二维或三维向量空间中，通常选取 $(1,0,0)$ 等为坐标轴，这些长度为 $1$ 的向量称为单位向量。如果 $\boldsymbol{x} \neq 0$，可以通过单位化（规范化） 得到单位向量：
$$
\boldsymbol{x}_0 = \frac{\boldsymbol{x}}{\left| \boldsymbol{x} \right|}
$$
向量夹角
在低维空间中，向量的夹角概念较直观。为了在欧式空间中定义向量夹角，我们利用 Cauchy–Schwarz 不等式：
$$
\left| \frac{( \boldsymbol{x}, \boldsymbol{y})}{\left| \boldsymbol{x}\right|\left| \boldsymbol{y}\right|} \right| \leq 1
$$
进而定义两个非零向量 $\boldsymbol{x}$ 和 $\boldsymbol{y}$ 的夹角 $\left\langle \boldsymbol{x}, \boldsymbol{y} \right\rangle$ 的余弦值：
$$
\cos \left\langle \boldsymbol{x}, \boldsymbol{y} \right\rangle = \frac{( \boldsymbol{x}, \boldsymbol{y})}{\left| \boldsymbol{x} \right| \left| \boldsymbol{y} \right|}
$$
向量正交
定义
若欧式空间中的两个向量 $\boldsymbol{x}$ 和 $\boldsymbol{y}$ 满足：
$$
(x,y) = 0
$$
则称它们正交（垂直）。
定理
在欧式空间中，若向量组 ${x_1, x_2, \dots, x_n}$ 互相正交，则它们必然线性无关。
正交基与标准正交基
定义
在欧式空间 $V^n$ 中，由 $n$ 个非零向量组成的正交向量组称为 $V^n$ 的正交基。若正交基中的向量均为单位向量，则称为标准正交基。
Schmidt 正交化
如何从一组普通的基构造标准正交基？一种方法是Schmidt 正交化法（Gram-Schmidt 过程）。
施密特正交化步骤
给定线性无关的向量组 ${ \boldsymbol{v}_1, \boldsymbol{v}_2, \dots, \boldsymbol{v}_n}$，施密特正交化的目标是构造正交向量组 ${ \boldsymbol{u}_1, \boldsymbol{u}_2, \dots, \boldsymbol{u}_n}$：
-
初始向量处理：
令第一个正交向量：
$$
\boldsymbol{u}_1 = \boldsymbol{v}_1
$$
由于 $\boldsymbol{v}_1 \neq 0$，则 $\boldsymbol{u}_1 \neq 0$。 -
构造第 $i$ 个向量的正交化：
从第二个向量开始，为了从 $\boldsymbol{v}_i$ 中去掉前面向量 $\boldsymbol{u}1, \dots, \boldsymbol{u}{i-1}$ 的分量，定义投影：
$$
\frac{( \boldsymbol{v}_i, \boldsymbol{u}_k)}{( \boldsymbol{u}_k, \boldsymbol{u}_k)} \boldsymbol{u}_k
$$
表示 $\boldsymbol{v}_i$ 在 $\boldsymbol{u}_k$ 上的投影。去掉与 $\boldsymbol{u}1, \dots, \boldsymbol{u}{i-1}$ 重叠的部分，得到：
$$
\boldsymbol{u}_i = \boldsymbol{v}i - \sum{k=1}^{i-1} \frac{( \boldsymbol{v}_i, \boldsymbol{u}_k)}{( \boldsymbol{u}_k, \boldsymbol{u}_k)} \boldsymbol{u}_k
$$ -
归一化：
将每个 $\boldsymbol{u}_i$ 归一化为单位向量：
$$
\boldsymbol{e}_i = \frac{ \boldsymbol{u}_i}{\left| \boldsymbol{u}_i\right|}
$$
最终得到一组正交归一向量：
$$
{ \boldsymbol{e}_1, \boldsymbol{e}_2, \dots, \boldsymbol{e}_n}
$$
有了以上的铺垫，接下来我们正式引入线性变换的概念。线性变换提供了一种在线性空间之间进行映射的框架，其本质在于保持向量空间中的线性结构。通过线性变换，我们可以将一个线性空间的元素映射到另一个线性空间中，并保持加法和标量乘法的运算法则。
线性变换
首先，我们引入 变换 的概念如下：
定义 4: 设 $V$ 是属于 $K$ 上的线性空间，$T$ 是 $V$ 到自身的一个映射，使对任意向量 $x\in V$，$V$ 中都有唯一向量 $y$ 与之对应，则称 $T$ 是 $V$ 的一个 变换 或 算子，记为 $Tx = y$，称 $y$ 为 $x$ 在 $T$ 下的象，$x$ 是 $y$ 的原象。
定义 5: 如果数域 $K$ 上的线性空间 $V$ 的一个变换 $T$ 具有以下性质：
$$
T(kx + ly) = k(Tx) + l(Ty)
$$
其中，$x,y \in V,k,l\in K$，则称 $T$ 为 $V$ 的一个 线性变换 或 线性算子。
线性变换的性质
不难验证，线性变换有如下性质，且线性空间 $V$ 上所有的线性变换的集合，在所论的线性运算下，构成一个新的线性空间，记为 $\text{Hom}(V, V)$，称为线性空间 $V$ 的 同态。
- 线性变换的加法：$(T_1+ T_2)x = T_1x+T_2x, \forall x\in V$，和仍为线性变换。
- $T_1 + T_2 = T_2 + T_1$;
- $(T_1 + T_2) + T_3 = T_1 + (T_2 + T_3)$;
- $T + T_0 = T$;
- $T + (-T) = T_0$;
- 线性变换 $T$ 的 负变换 $-T$ 定义为： $$
(-T)x = -(Tx), \forall x\in V
$$
- 线性变换的数乘：$(kT)x = k(Tx), \forall x\in V$，线性变换的数乘仍是线性变换。
- $k(T_1 + T_2) = kT_1 + kT_2$;
- $(k+l)T = kT + lT$;
- $(kl)T = k(lT)$;
- $1 T = T$;
线性变换的矩阵表示
诸如二维平面上的旋转、微分和积分等都是线性变换。考虑到有限维线性空间的向量可以用坐标表示出来，进一步考虑则可以通过坐标把线性变换用矩阵表示出来，从而可以把抽象的变换转化成具体的矩阵来处理。故引入线性变换的 矩阵表示。
设 $T$ 是线性空间 $V^n$ 的线性变换，$x \in V^n$，且 $x_1, x_2, \dots, x_n$ 是 $V^n$ 的一个基，则有：
$$
x = a_1x_1 + a_2x_2 + \dots + a_nx_n
$$
$$
Tx = a_1(Tx_1) + a_2(Tx_2) + \dots + a_n(Tx_n)
$$
这表明，$V^n$ 的任一向量 $x$ 的像可以由基像组 $Tx_1,Tx_2,\dots,Tx_n$ 唯一确定，因为基像组仍 $\in V^n$，所以有：
$$
\left.
\begin{matrix}
Tx_1 = a_{11}x_1 + a_{21}x_2 + \dots + a_{n1}x_n\
Tx_2 = a_{12}x_1 + a_{22}x_2 + \dots + a_{n2}x_n\
\cdots \
Tx_n = a_{1n}x_1 + a_{2n}x_2 + \dots + a_{nn}x_n\
\end{matrix}
\right}
\tag{2.6.1}
$$
即：
$$
Tx_i = \sum_{j=1}^{n} a_{ji}x_j, \quad i = 1,2,\dots,n
$$
用矩阵乘法表示式 (2.6.1) 为：
$$
T(x_1,x_2,\dots,x_n) = (Tx_1,Tx_2,\dots,Tx_n) = (x_1,x_2,\dots,x_n) \boldsymbol{A}
\tag{2.6.2}
$$
其中：
$$
\boldsymbol{A} = \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n}\
a_{21} & a_{22} & \cdots & a_{2n}\
\cdots & \cdots & & \cdots\
a_{n1} & a_{n2} & \cdots & a_{nn}\
\end{bmatrix}
$$
即矩阵 $\boldsymbol{A}$ 的第 $i$ 列为 $Tx_i$ 的坐标。
定义 3 式 (2.6.2) 中的矩阵 $\boldsymbol{A}$ 称为 $T$ 在 $V^n$ 的基 $x_1, x_2, \dots, x_n$ 下的矩阵，称 $\boldsymbol{A}$ 为线性变换 $T$ 的矩阵表示。
特殊的线性变换
- 零变换：$T_0(x) = \boldsymbol{0}, \forall x\in V$
- 恒等变换：$T_1(x) = x, \forall x\in V$
正交变换
定义 4 设 $V$ 为欧式空间，$T$ 是 $V$ 上的一个线性变换，如果 $T$ 保持 $V$ 中任意向量 $\boldsymbol{x}$ 的长度不变，则有：
$$
(T \boldsymbol{x},T \boldsymbol{x}) = ( \boldsymbol{x}, \boldsymbol{x})
$$
那么称 $T$ 是 $V$ 的一个 正交变换。
定理 1 欧式空间上的线性变换是正交变换 $\Leftrightarrow$ 它对于标准正交基的矩阵是正交矩阵。
对称变换
定义 5 设 $V$ 为欧式空间，$T$ 是 $V$ 上的一个线性变换，且对 $V$ 中任意两个向量 $\boldsymbol{x}, \boldsymbol{y}$，都有：
$$
(T \boldsymbol{x}, \boldsymbol{y}) = ( \boldsymbol{x},T \boldsymbol{y})
$$
那么称 $T$ 是 $V$ 的一个 对称变换。
定理 2 欧式空间上的线性变换是对称变换 $\Leftrightarrow$ 它对于标准正交基的矩阵是实对称矩阵。
对于线性变换的进一步求解，将在下一节中叙述。