这个系列课程旨在透过直观的线性变换来理解矩阵与向量运算,并不打算讨论计算方法,
高斯消元、行阶梯型等求解线性方程组的方法都没有提到,实践中通常交给软件来计算。
主要应用之一是解求线性方程组。
求解$\mathbf{A}x = \mathbf{v}$意味着寻找一个向量$\mathbf{x}$, 经过线性变换$\mathbf{A}$后与向量$\mathbf{v}$重合。
逆矩阵、秩
旋转、剪切等变换可以复原,降维了无法复原,一条直线不能变换回一个平面,
一个向量无法映射为多个向量,因为不符合函数的定义(一对一或多对一,不能一对多)
所以$D = 0$的矩阵不存在逆矩阵。
即使逆变换不存在($D = 0$),方程组的解x仍可能存在,此时输出向量v恰好落在降维后的空间内,
例如$A$将二维空间压缩成一条直线,v恰好落在直线上,
即使$D$都为0, 解存在的条件 (输出向量v的范围)也不同,变换后空间的维度不同,解集的大小也不同。
例如$A$是三维矩阵,当它把空间压缩为一条直线,与压缩为平面相比,存在解的概率更小了。
行列式$D$是否为0提供的关于变换的信息还不够,为了具体描述$A$中基向量线性无关程度,
引入矩阵的秩(rank) 的概念。
$\mathrm{2 x 2}$ 矩阵最大的秩为2,满秩$r = 2$意味着基向量能张成整个二维空间且$D \ne 0$。
对于$\mathrm{3 x 3}$矩阵,\(r = 2\) 意味着空间被压缩了,但与$r = 1$ 的情况相比没那么严重。
$D \ne 0$的方阵一定满秩,反之非满秩方阵D必为0。
列空间
列空间是所有可能输出向量$\mathbf{Ax}$的集合,
几何直观上就是矩阵的列向量张成的空间,即变换后基向量张成的空间,
秩的定义就是列空间的维数,当$r = n$即秩等于列数时称为满秩。
零向量一定在列空间中,因为线性变换必须保持原点不变。
对一个满秩变换来说,唯一能在变换后落在原点的向量只有零向量。
(满秩变换是一对一映射,例如$\mathrm{2x2}$矩阵两列向量不共线,仅当输入是0输出才是0)
但对于非满秩矩阵,它将空间压缩到更小的维度,就是说有一系列的向量
变换后变成零向量。(列空间的正交分量投影为0)
举个例子,如果一个二维线性变换将空间压缩到一条直线上,
那么垂直方向的直线上所有向量就会被压缩到原点。
如果一个三维线性变换将空间压缩到一个平面上,同样会有一条直线(法线)上的
向量被压缩到原点 (同样都降秩了1个维度$n - r = 1$)
如果一个三维线性变换将空间压缩到一条直线上,那么会有一整个二维平面(法平面)
的向量被压缩到原点($n - r = 2$)
此时引入零空间的概念,就是这些变换后落在原点的向量集合。
$n - r$就是零空间的维度。零空间也译作“化零”空间。
零空间 Null Space = Kernel
即解空间,一个算子$A$ 的零空间是齐次线性方程组$\mathbf{Ax}=\mathbf{0}$的所有解x的集合。
零空间也叫做 A的核(kernel) 。
$A$的零空间可以用来找到方程$\mathbf{Ax}=\mathbf{b}$的所有解(完全解)。
如果$x_1$是这个方程的一个解,叫做特定解,
那么方程的完全解 = 特定解 + 来自零空间的任何向量。
特定解依$\mathbf{b}$而变化,而零空间的向量不变。
从几何角度的high level视角理解线性方程的解,把线性方程看成向量方程,
每个方程组对应一个线性变换(常系数构成的矩阵),
当逆变换存在时,就能用$\mathbf{x} = \mathbf{A}^{-1}\mathbf{b}$求解。
当逆变换不存在($D = 0$),列空间的概念让我们清楚解什么时候存在($\mathbf{b}$落在降维后的空间时)
零空间的概念则有助于我们理解$Ax = b$的解集(写成特解$x_1$ + 零空间中任意向量)