左右逆和伪逆

我们知道一个矩阵有其逆矩阵的前提是一个满秩的方阵，但在实际情况下大都是行列数不同的矩阵，那这些长方矩阵是否也有逆矩阵呢？

两侧逆

我们通常说的逆矩阵都是针对满秩方阵而言，此时$AA^{-1}=A^{-1}A=I$,A的左乘和右乘$A^{-1}$都是单位矩阵,我们把这种矩阵成为两侧逆。

左逆

如果$A_{m×n}$是一个列满秩矩阵,A的秩等于n,此时A的零空间只有零向量,并且AX=b有唯一解或者无解,对称矩阵$A^TA$是一个nxn的满秩矩阵,因此$A^TA$可逆,此时,${(A^TA)}^{-1}A^TA=I$,而A的左逆$A^{-1}_{left}={(A^TA)}^{-1}A^T$,可得$A^{-1}_{left}A=I$,我们把$A^{-1}_{left}$成为A的左逆,其是一个mxn矩阵,左逆也是讨论最小二乘问题的核心。

右逆

如果$A_{m×n}$是一个行满秩矩阵,A的秩等于m,此时左零空间只有零向量,A的零空间是n-r维,当m<n的时候AX=b有无数解,对称矩阵$AA^T$是一个mxm的满秩矩阵,因此$AA^T$可逆,此时,${AA^T(AA^T)}^{-1}=I$,而A的右逆$A^{-1}_{right}={A^T(AA^T)}^{-1}$,可得$AA^{-1}_{right}=I$,我们把$A^{-1}_{right}$成为A的右逆,其是一个nxm矩阵。

通常来说，右乘左逆得不到单位矩阵，仅在m = n时才有$AA^{-1}_{left}=I$。对于列满秩的m×n矩阵来说，$AA^{-1}_{left}=A{(A^TA)}^{-1}A^T=P$，P是A的列空间的投影矩阵。同理，左乘右逆也得不到单位矩阵，$A^{-1}_{right}A$是A的行空间的投影矩阵。

伪逆

逆矩阵可看作矩阵的逆操作，向量x在A的作用下变成了了Ax，Ax通过A-1又得到x。

方阵A是否可逆和是否存在零空间有关，可逆矩阵的零空间和左零空间都只有零向量。零空间的向量是满足Ax = 0的所有x，假设A存在零空间，此时A的各列的线性组合是0，这意味着A的列是线性相关的，A一定不是满秩的，A是奇异矩阵，A不可逆。

列满秩矩阵的零空间只有零向量，有左逆矩阵；行满秩矩阵的左零空间只有零向量，有右逆矩阵。但是对于不满秩的矩阵$A_{m×n（r < n, r < m）}$来说，两个零空间都存在，此时它无法得到左逆或右逆。

假设$A_{m×n}$是不满秩的矩阵，其行空间和列空间的维数相等。如果此时行空间的一个向量x，经过A的变换，变为列空间的向量Ax，并且x和Ax是一一对应的（如果行空间的两个向量u ≠ v，则Au ≠ Av），那么在把逆操作限制在行空间和列空间上时，A是可以进行逆操作的，A在这两个空间上的逆矩阵称为伪逆，记作$A^+$。

这里的关键是x和Ax是一一对应的，如果行空间的两个向量u ≠ v，则Au ≠ Av，只有这样，逆操作才成立。为什么会有一一对应？

u和v是行空间的两个不同的向量，经过A的转换将变成列空间的另外两个向量Au和Av。我们假设Au = Av，这相当于Au – Av = 0，即A(u – v) = 0，这意味着u – v属于零空间。但u和v是行空间的两个向量，它们的线性组合也属于行空间，与结论矛盾，因此假设不成立，Au ≠ Av。行空间和列空间的向量是一一对应的。

统计学家非常需要伪逆矩阵，因为他们经常使用最小二乘求解线性回归问题。统计学家经常做一些试验，并用矩阵A记录这些试验结果（每个结果有多个属性值），如果试验存在大量重复的结果，那么A将可能不是列满秩的，$A^TA$不可逆，无法用过去的方法解决最小二乘。此时伪逆就有了用武之地。怎样找出伪逆呢？

$A_{m×n}$是一个不满秩矩阵，行数和列数都大于秩，m > r, n > r，找出$A^+$的一个方法是利用奇异值分解。A的奇异值分解是：$A=U∑V^T$。

**∑**是一由奇异值构成的对角矩阵：

∑和A的尺寸一致，也是m×n矩阵，它的秩是r，显然也是一个不可逆矩阵，并且$∑^T∑$和$∑∑^T$都不可逆，也就是说∑也不存在左逆或右逆，只有伪逆：

$∑^+$是一个n×m矩阵，它的秩仍然是r。伪逆是最接近逆的：

U和VT都是正交矩阵，其逆矩阵等于转置，$(V^T)^{-1}=V, U^{-1}= U^T$，A的伪逆为：$A^+=V∑^+U^T$, $AA^+=U∑V^TV∑^+U^T=U∑∑^+U^T$

值得注意的是，$AA^+$得到的并不是像$∑∑^+$这样对角线上只有1和0的矩阵，而是A的行空间的投影矩阵。

逆矩阵必须满足的四个性质: