线性代数学习笔记(十):奇异值分解


特征值

6.5 奇异值分解

前面我们已经了解到, 满秩的矩阵具有一些很好的性质. 因此在计算中我们经常需要判断一个矩阵是否是满秩的. 理论上讲, 我们可以利用高斯消元法来看非零行的个数来确定矩阵的秩. 但是由于舍入误差的存在, 这种方法实际上并不适用. 一般情况下更可行的解决方案是判断矩阵和一个亏秩矩阵的接近程度.

​ 在本节中我们假设为一矩阵, 其中. 为了确定是如何接近一个较小秩的矩阵, 我们将吧分解为一个乘积, 其中为一个的正交矩阵, 是一个正交矩阵, 是一个矩阵, 其对角线下所有的元素为且对角线元素满足


采用这种因式分解得到的是唯一的, 并称为的奇异值, 因式分解称为的奇异值分解. 我们将证明的秩等于非零的奇异值的个数, 且非零奇异值的个数给出了矩阵如何接近一个较小秩的矩阵的度量. 首先我们来证明这种分解是可行的.

定理 6.5.1(SVD定理) 若为一矩阵, 则有一个奇异值分解.

证明 为一个对称的矩阵. 因此它的所有特征值均为实的, 而且它有一个正交的对角化矩阵. 此外, 它的特征值必然全部是非负的. 为了看到这个结果, 令的一个特征值, 为一个属于的特征向量. 可得


于是


我们可以假设的列已经进行了排序, 使得对应的特征值满足


的奇异值为

表示的秩. 矩阵也将有秩. 由于是对称的, 它的秩等于非零的特征值的个数. 因此


因而对奇异值也将有类似的关系


现在令




为一个的对角矩阵, 其对角元素为非零的奇异值. 矩阵则为


的列向量为的属于的特征向量. 因此


于是, 的列向量构成了中的一组规范正交基. 因此


由于是正交矩阵, 可得

到目前为止, 我们已经证明了如何构造奇异值分解中的矩阵. 为了完成证明, 我们必须证明如何构造一个的正交矩阵, 使得


或者等价的


比较上式的前列, 可以看到


因此如果定义




则得到


的列向量构成了一个规范正交集, 因为

而根据可得, 对每一均在的列空间中. 列空间的维数为, 因此构成了的一组规范正交基. 向量空间的维数为. 令的一组规范正交基, 并且令


根据定理5.2.2, 构成了的一组规范正交基. 因此是正交矩阵. 接下来就是证明等于. 如下


至此SVD定理证毕.

上面的证明过程来自于原书, 这个证明过程个人感觉有很多地方其实很莫名其妙, 比如为什么奇异值是特征值开根号之类的并没有给出一个很合理的解释. 但是如果全文看下来把这些没什么逻辑的说明作为假设来对待其实还是挺好理解的, 我后期可能会写点关于这些莫名其妙的假设的来源的分析.

观察为一矩阵, 其奇异值分解为.

  1. 的奇异值的值是唯一的, 但是矩阵不是唯一的.

  2. 由于对角化, 由此得到的特征向量.

  3. 由于, 由此得到对角化, 且的特征向量.

  4. 比较方程


    两端的第列, 我们可以得到


    类似地,


    因此


    称为的右奇异向量(right singular vector), 称为的左奇异向量(left singular vector).

  5. 的秩为, 则:

    (1)构成了的一组规范正交基.

    (2)构成了的一组规范正交基.

    (3)构成了的一组规范正交基.

    (4)构成了的一组规范正交基.

  6. 矩阵的秩等于其非零的奇异值的个数(奇异值根据重数计数). 但是对特征值没有类似的假设.可以很轻松的构造反例.

  7. 的秩时, 如果令


    且仍然定义为对角线元素为的特征值的根号按照从小到大的顺序排列(即前面完全相同的定义方法), 则


    上面的分解称为的压缩形式的奇异值分解(compact form of the singular value decomposition). 这种形式在很多应用问题中都有用.

回顾 弗罗贝尼乌斯范数:对于向量空间, 可以定义一个弗罗贝尼乌斯范数, 记作, 有

为一矩阵, 其秩为, 且, 则可以利用奇异值分解求一个中秩为的矩阵, 使得它在弗罗贝尼乌斯范数意义下最接近. 令为所有秩不超过矩阵的集合. 可以证明存在一个中的矩阵, 使得


这个结论的证明超出了教材的范围, 因此这里暂且不证明. 不过如果我们假设这样的最小值是存在的, 我们可以证明这样的可以使用的奇异值分解求出. 为了证明这一点, 我们先来看下面的引理

引理 6.5.2为一矩阵, 且为一正交矩阵, 则




从而证毕.

从这个引理出发, 结合奇异值分解我们可以得到一个非常有用的结论. 若有奇异值分解, 则根据引理可得


又由于


从而有

现在我们就可以提出并证明下面的定理了

定理6.5.3为一矩阵, 并令表示所有秩不超过矩阵的集合, 其中. 若中满足的矩阵, 则


特别地, 若, 其中



这个定理的描述看起来很奇怪但是原书(包括英文原版)里就是这么写的. 这里稍微说明一下, 定理的前半部分给出了的值(如果是一个在弗罗贝尼乌斯范数意义下最接近的一个秩为的矩阵). 然后后面"特别的"之后这一部分实际上是给出了的一种构造形式.

证明中满足的一个矩阵, 由于, 因此可得


因此我们只需要再证明


结合前面的式, 就可以得到


从而我们也就证明了这个定理. 下面我们就来证明式.

的奇异值分解, 其中


若令, 则, 由此可得


如果我们使用和前面对相同的分块方法来对来分块:


可得


接下来我们先证明. 假设, 定义


则矩阵中, 且


这和的定义矛盾. 因此. 同理可以证明. 如果令


, 且


也即


而根据的定义, 一定有


从而有


从而有


所以


有奇异值分解, 则




现在


从而可得的对角元素就是的奇异值中的一部分, 从而有


从而结合证明最开始的讨论, 有


从而证毕.

前面我们提到奇异值可以用来判断一个矩阵是如何接近一个较小秩的矩阵的, 实际上上面的定理就说明了一个有着较大秩的矩阵是如何接近一个较小秩的矩阵的, 接下来我们将进一步讨论这个问题.

如果有奇异值分解, 则可以把看作是的一个乘积. 如果把按列分块, 且按行分块, 则


且可以将表示为一个外积展开


的秩为, 则


将是一个秩为且在弗罗贝尼乌斯范数意义下最接近的矩阵. 类似的


将是一个秩为且在弗罗贝尼乌斯范数意义下最接近的矩阵. 同理以此类推. 特别的, 若为一非奇异的矩阵, 则是奇异的, 而且. 因此可以用来衡量一个方阵如何接近奇异.

不过最后值得注意的是, 在很久的前面我们提到用行列式来判断矩阵是不是接近奇异的, 但是实际上这个标准是不好的, 不能使用. 一个很简单的例子, 如果一个矩阵是一个的对角矩阵, 其对角元素均为, 则, 而. 课本上还有一些其他的例子, 这里就不详细列举了, 有兴趣的可以去查阅课本.

另外, 矩阵的奇异值分解的应用是相当广泛的, 这里同样不再详细叙述, 有兴趣的可以去看原课本.


评论

发表评论

电子邮件地址不会被公开。 必填项已用*标注