线性代数

主成分分析:给数据「瘦身」的艺术

10 分钟

收官一讲:整章知识全用上

全班同学 10 门成绩,10 个数描述一个人,能压成 2 个数还不丢多少信息吗?主成分分析(PCA)干的就是这件事:找出数据变化最大的方向(第一主成分),再找与它正交的次大方向,依此类推,只留前几个。

流程全是老朋友

先算协方差矩阵(对称的,第五讲),再求它的特征向量与特征值(第四讲),特征值大的方向就是主成分——相当于给数据换一套「从最重要到最不重要」的正交基(第三讲)。一句话:PCA 就是把本章前八讲串起来用一遍。

真实应用

  • 人脸识别:上万维的照片压成几十个「特征脸」分量,识别又快又稳;
  • 基因研究:几万个基因压成几个主成分,一张散点图就能看出人群聚类;
  • 降维之后的数据喂给 AI 模型,训练又快又省。

常见误区:方差大不等于重要

PCA 只认「变化大」,不管那变化有没有意义:身高用厘米还是米,方差差一万倍,信息却一模一样。所以开工前通常先把各列归一化

一句话总结全章

秩看冗余、逆矩阵管撤销、基决定视角、对角化和 SVD 是体检、低秩近似会取舍、最小二乘找最优、PCA 做减法——加上第一章的九讲,你的线性代数工具箱已经齐活了。

练一练:想想你的游戏账号数据(等级、时长、胜率……),哪些维度可能冗余,大概能压成几个主成分?

小纸条

和家长讨论:语数英三科成绩里,能不能只用「一个综合分」大致代表?丢掉的代价是什么?

登录 后可看答案