欧式空间与线性变换介绍
欧式（Euclid）空间作为一种特殊的线性空间，我们先引入线性空间的概念。
定义 1: 线性空间
设 \(V\) 是一个非空集合，它的元素用 \(x, y, z\) 等表示，称为向量；\(K\) 是一个数域，它的元素用 \(k, l, m\) 表示，如果 \(V\) 满足以下条件：
- 在 \(V\) 中定义一个加法运算，即当
\(x,y\in V\) 时，有唯一的和 \(x + y\in V\)，且满足以下性质：
- 结合律: \(x + (y + z) = (x + y) + z\);
- 交换律: \(x + y = y + x\);
- 零元素存在性: \(\exists 0, s.t. x + 0 = x\);
- 负元素存在性: \(\forall x\in V,\exists y\in V, s.t.x + y = 0\)，记 \(y = -x\);
- 在 \(V\) 中定义数乘运算，即当 \(x\in V,k \in K\) 时，有唯一的乘积 \(kx\in V\)，且满足以下性质：
- 因子分配律: \(k(x+y) = kx + ky\);
- 分配律: \((k+l)x = kx + lx\);
- 结合律: \(k(lx) = (kl)x\);
- 中性元: \(1 x = x\);
则称 \(V\) 是数域 \(K\) 上的线性空间。
定义中的 8 条性质非常重要。如果对于数域 \(K\)，向量空间 \(V\)，设加群 \((V, +)\)（\(+\) 为 \(V\) 上满足交换律的运算），不难验证其满足群的定义。定义 \(K \times V \rightarrow V: (k, \alpha) \rightarrow k\alpha\)（即 \(V\) 上的数乘运算），可以验证 \(V\) 是一个 \(K\)-模。即，线性空间是一类特殊的模。
为借助数量运算以实现向量的运算，还要引入向量的坐标。
定义 2: 线性空间的基
设 \(V\) 是数域 \(K\) 上的线性空间，\(x_1,x_2,\cdots,x_r\in V\)，如果它满足：
- \(x_1,x_2,\cdots,x_r\) 线性无关;
- \(\forall x \in V\) 都是 \(x_1,x_2,\cdots,x_r\) 的线性组合;
则称 \(x_1,x_2,\cdots,x_r\) 是 \(V\) 的一个 基，称 \(x_i(i=1,2,\cdots,r)\) 为 基向量。
定义 3: 坐标系
称线性空间 \(V^n\) 上的一个基 \(x_1, x_2, \cdots, x_n\) 为 \(V^n\) 的一个 坐标系。设向量 \(x \in V^n\)，它在该基下的线性表示式为
\[ x = \xi_1x_1 + \xi_2x_2 + \cdots + \xi_nx_n \]
则称 \(\xi_1,\xi_2,\cdots,\xi_n\) 为 \(x\) 在该基下的 坐标 或 分量，记为
\[ (\xi_1,\xi_2,\cdots,\xi_n)^\top \]
显然，线性空间 \(V^n\) 存在多个不同的基，对应多个不同的坐标系，我们希望研究当基改变时，向量的坐标如何改变。
基变换
首先介绍 基变换，即 \(V^n\) 的一个基 \(\boldsymbol{X} = ( \boldsymbol{x}_1, \boldsymbol{x}_2, \cdots, \boldsymbol{x}_n)\) 变为另一个基 \(\boldsymbol{Y} = ( \boldsymbol{y}_1, \boldsymbol{y}_2, \cdots, \boldsymbol{y}_n)\)。
由基的定义可知：
\[ \boldsymbol{y}_i = c_{1i} \boldsymbol{x}_1 + c_{2i} \boldsymbol{x}_2 + \cdots + c_{1n} \boldsymbol{x}_n(i = 1,2,\cdots,n) \]
上式可以写成矩阵乘法形式：
\[ ( \boldsymbol{y}_1, \boldsymbol{y}_2, \cdots, \boldsymbol{y}_n) = ( \boldsymbol{x}_1, \boldsymbol{x}_2, \cdots, \boldsymbol{x}_n) \boldsymbol{C} \tag{2.5.1} \]
其中矩阵
\[ \boldsymbol{C} = \begin{bmatrix} c_{11} & c_{12} & \cdots & c_{1n}\\ c_{21} & c_{22} & \cdots & c_{2n}\\ \vdots & \vdots & & \vdots\\ c_{n1} & c_{n2} & \cdots & c_{nn} \end{bmatrix} \]
称为基变换的 过渡矩阵，式 (2.5.1) 称为 基变换公式。
显然，过渡矩阵是可逆矩阵，因为新基能变换为旧基。
内积与欧式空间
在线性空间中，向量的基本运算仅为线性运算。例如，在熟悉的二维或三维向量空间中，我们发现向量的模长、向量间的夹角等度量概念未能被线性空间直接表达。因此，我们引入内积与内积空间的概念。
内积的定义
定义
设 \(V\) 是实数域 \(\mathbb{R}\) 上的线性空间，若对 \(\forall x,y \in
V\)，按照某种规则定义一个实数 \((x,y)\)，满足以下条件：
- 交换律：\((x,y) = (y,x)\)；
- 分配律：\((x,y+z) = (x,y) + (x,z)\)；
- 齐次性：\((kx,y) = k(x,y) = (x,ky), \forall k\in \mathbb{R}\)；
- 非负性：\((x,x) \geq 0\)，且 \((x,x) = 0 \iff x = 0\)。
则称 \((x,y)\) 为向量 \(x,y\) 的内积，称 \(V\) 为欧式空间（Euclidean Space）。
内积的性质
内积具有以下基本性质：
- \(( \boldsymbol{x}, k \boldsymbol{y}) = k( \boldsymbol{x}, \boldsymbol{y})\)；
- \(( \boldsymbol{x}, \boldsymbol{0}) = 0\)。
向量的模长
在欧式空间中，我们可以定义向量的长度（模、范数）如下：
定义
在欧式空间 \(V\) 中，非负实数
\[
\left| \boldsymbol{x} \right| = \sqrt{( \boldsymbol{x},
\boldsymbol{x})}
\]
称为向量 \(\boldsymbol{x}\)
的长度（或
2-范数，下一节将介绍）。
单位向量与单位化
在二维或三维向量空间中，通常选取 \((1,0,0)\) 等为坐标轴，这些长度为 \(1\)
的向量称为单位向量。如果 \(\boldsymbol{x} \neq
0\)，可以通过单位化（规范化）
得到单位向量：
\[
\boldsymbol{x}_0 = \frac{\boldsymbol{x}}{\left| \boldsymbol{x} \right|}
\]
向量夹角
在低维空间中，向量的夹角概念较直观。为了在欧式空间中定义向量夹角，我们利用
Cauchy–Schwarz 不等式：
\[
\left| \frac{( \boldsymbol{x},
\boldsymbol{y})}{\left| \boldsymbol{x}\right|\left| \boldsymbol{y}\right|}
\right| \leq 1
\]
进而定义两个非零向量 \(\boldsymbol{x}\)
和 \(\boldsymbol{y}\) 的夹角 \(\left\langle \boldsymbol{x}, \boldsymbol{y}
\right\rangle\) 的余弦值：
\[
\cos \left\langle \boldsymbol{x}, \boldsymbol{y} \right\rangle =
\frac{( \boldsymbol{x}, \boldsymbol{y})}{\left| \boldsymbol{x} \right|
\left| \boldsymbol{y} \right|}
\]
向量正交
定义
若欧式空间中的两个向量 \(\boldsymbol{x}\) 和 \(\boldsymbol{y}\) 满足：
\[
(x,y) = 0
\]
则称它们正交（垂直）。
定理
在欧式空间中，若向量组 \(\{x_1, x_2, \dots,
x_n\}\) 互相正交，则它们必然线性无关。
正交基与标准正交基
定义
在欧式空间 \(V^n\) 中，由 \(n\)
个非零向量组成的正交向量组称为 \(V^n\)
的正交基。若正交基中的向量均为单位向量，则称为标准正交基。
Schmidt 正交化
如何从一组普通的基构造标准正交基？一种方法是Schmidt 正交化法（Gram-Schmidt 过程）。
施密特正交化步骤
给定线性无关的向量组 \(\{ \boldsymbol{v}_1, \boldsymbol{v}_2, \dots, \boldsymbol{v}_n\}\)，施密特正交化的目标是构造正交向量组 \(\{ \boldsymbol{u}_1, \boldsymbol{u}_2, \dots, \boldsymbol{u}_n\}\)：
初始向量处理：
令第一个正交向量：
\[ \boldsymbol{u}_1 = \boldsymbol{v}_1 \]
由于 \(\boldsymbol{v}_1 \neq 0\)，则 \(\boldsymbol{u}_1 \neq 0\)。构造第 \(i\) 个向量的正交化：
从第二个向量开始，为了从 \(\boldsymbol{v}_i\) 中去掉前面向量 \(\boldsymbol{u}_1, \dots, \boldsymbol{u}_{i-1}\) 的分量，定义投影：
\[ \frac{( \boldsymbol{v}_i, \boldsymbol{u}_k)}{( \boldsymbol{u}_k, \boldsymbol{u}_k)} \boldsymbol{u}_k \]
表示 \(\boldsymbol{v}_i\) 在 \(\boldsymbol{u}_k\) 上的投影。去掉与 \(\boldsymbol{u}_1, \dots, \boldsymbol{u}_{i-1}\) 重叠的部分，得到：
\[ \boldsymbol{u}_i = \boldsymbol{v}_i - \sum_{k=1}^{i-1} \frac{( \boldsymbol{v}_i, \boldsymbol{u}_k)}{( \boldsymbol{u}_k, \boldsymbol{u}_k)} \boldsymbol{u}_k \]归一化：
将每个 \(\boldsymbol{u}_i\) 归一化为单位向量：
\[ \boldsymbol{e}_i = \frac{ \boldsymbol{u}_i}{\left| \boldsymbol{u}_i\right|} \]
最终得到一组正交归一向量：
\[
\{ \boldsymbol{e}_1, \boldsymbol{e}_2, \dots, \boldsymbol{e}_n\}
\]
有了以上的铺垫，接下来我们正式引入线性变换的概念。线性变换提供了一种在线性空间之间进行映射的框架，其本质在于保持向量空间中的线性结构。通过线性变换，我们可以将一个线性空间的元素映射到另一个线性空间中，并保持加法和标量乘法的运算法则。
线性变换
首先，我们引入 变换 的概念如下：
定义 4: 设 \(V\) 是属于 \(K\) 上的线性空间，\(T\) 是 \(V\) 到自身的一个映射，使对任意向量 \(x\in V\)，\(V\) 中都有唯一向量 \(y\) 与之对应，则称 \(T\) 是 \(V\) 的一个 变换 或 算子，记为 \(Tx = y\)，称 \(y\) 为 \(x\) 在 \(T\) 下的象，\(x\) 是 \(y\) 的原象。
定义 5: 如果数域 \(K\) 上的线性空间 \(V\) 的一个变换 \(T\) 具有以下性质：
\[ T(kx + ly) = k(Tx) + l(Ty) \]
其中，\(x,y \in V,k,l\in K\)，则称 \(T\) 为 \(V\) 的一个 线性变换 或 线性算子。
线性变换的性质
不难验证，线性变换有如下性质，且线性空间 \(V\) 上所有的线性变换的集合，在所论的线性运算下，构成一个新的线性空间，记为 \(\text{Hom}(V, V)\)，称为线性空间 \(V\) 的 同态。
- 线性变换的加法：\((T_1+
T_2)x = T_1x+T_2x, \forall x\in V\)，和仍为线性变换。
- \(T_1 + T_2 = T_2 + T_1\);
- \((T_1 + T_2) + T_3 = T_1 + (T_2 + T_3)\);
- \(T + T_0 = T\);
- \(T + (-T) = T_0\);
- 线性变换 \(T\) 的 负变换 \(-T\) 定义为： \[ (-T)x = -(Tx), \forall x\in V \]
- 线性变换的数乘：\((kT)x =
k(Tx), \forall x\in V\)，线性变换的数乘仍是线性变换。
- \(k(T_1 + T_2) = kT_1 + kT_2\);
- \((k+l)T = kT + lT\);
- \((kl)T = k(lT)\);
- \(1 T = T\);
线性变换的矩阵表示
诸如二维平面上的旋转、微分和积分等都是线性变换。考虑到有限维线性空间的向量可以用坐标表示出来，进一步考虑则可以通过坐标把线性变换用矩阵表示出来，从而可以把抽象的变换转化成具体的矩阵来处理。故引入线性变换的 矩阵表示。
设 \(T\) 是线性空间 \(V^n\) 的线性变换，\(x \in V^n\)，且 \(x_1, x_2, \dots, x_n\) 是 \(V^n\) 的一个基，则有：
\[
x = a_1x_1 + a_2x_2 + \dots + a_nx_n
\]
\[
Tx = a_1(Tx_1) + a_2(Tx_2) + \dots + a_n(Tx_n)
\]
这表明，\(V^n\) 的任一向量 \(x\) 的像可以由基像组 \(Tx_1,Tx_2,\dots,Tx_n\)
唯一确定，因为基像组仍 \(\in
V^n\)，所以有：
\[
\left.
\begin{matrix}
Tx_1 = a_{11}x_1 + a_{21}x_2 + \dots + a_{n1}x_n\\
Tx_2 = a_{12}x_1 + a_{22}x_2 + \dots + a_{n2}x_n\\
\cdots \\
Tx_n = a_{1n}x_1 + a_{2n}x_2 + \dots + a_{nn}x_n\\
\end{matrix}
\right\}
\tag{2.6.1}
\]
即：
\[
Tx_i = \sum_{j=1}^{n} a_{ji}x_j, \quad i = 1,2,\dots,n
\]
用矩阵乘法表示式 (2.6.1) 为：
\[
T(x_1,x_2,\dots,x_n) = (Tx_1,Tx_2,\dots,Tx_n) = (x_1,x_2,\dots,x_n)
\boldsymbol{A}
\tag{2.6.2}
\]
其中：
\[
\boldsymbol{A} = \begin{bmatrix}
a_{11} & a_{12} & \cdots & a_{1n}\\
a_{21} & a_{22} & \cdots & a_{2n}\\
\cdots & \cdots & & \cdots\\
a_{n1} & a_{n2} & \cdots & a_{nn}\\
\end{bmatrix}
\]
即矩阵 \(\boldsymbol{A}\) 的第 \(i\) 列为 \(Tx_i\) 的坐标。
定义 3 式 (2.6.2) 中的矩阵 \(\boldsymbol{A}\) 称为 \(T\) 在 \(V^n\) 的基 \(x_1, x_2, \dots, x_n\) 下的矩阵，称 \(\boldsymbol{A}\) 为线性变换 \(T\) 的矩阵表示。
特殊的线性变换
- 零变换：\(T_0(x) = \boldsymbol{0}, \forall x\in V\)
- 恒等变换：\(T_1(x) = x, \forall x\in V\)
正交变换
定义 4 设 \(V\)
为欧式空间，\(T\) 是 \(V\) 上的一个线性变换，如果 \(T\) 保持 \(V\) 中任意向量 \(\boldsymbol{x}\) 的长度不变，则有：
\[
(T \boldsymbol{x},T \boldsymbol{x}) = ( \boldsymbol{x}, \boldsymbol{x})
\]
那么称 \(T\) 是 \(V\) 的一个 正交变换。
定理 1 欧式空间上的线性变换是正交变换 \(\Leftrightarrow\) 它对于标准正交基的矩阵是正交矩阵。
对称变换
定义 5 设 \(V\)
为欧式空间，\(T\) 是 \(V\) 上的一个线性变换，且对 \(V\) 中任意两个向量 \(\boldsymbol{x},
\boldsymbol{y}\)，都有：
\[
(T \boldsymbol{x}, \boldsymbol{y}) = ( \boldsymbol{x},T \boldsymbol{y})
\]
那么称 \(T\) 是 \(V\) 的一个 对称变换。
定理 2 欧式空间上的线性变换是对称变换 \(\Leftrightarrow\) 它对于标准正交基的矩阵是实对称矩阵。
对于线性变换的进一步求解，将在下一节中叙述。