表征学习Representation Learning与流形学习Manifold Learning是机器学习中处理数据的两种核心思想。简单来说它们解决的都是同一个核心问题如何让计算机更好地“看懂”和“表达”复杂的数据。一、 表征学习Representation Learning1. 核心定义表征学习也称特征学习是指让机器自动从原始数据中学习出有效的特征或向量表示而不是依赖人类专家手动提取特征如早期的计算机视觉需要人工设计 HOG、SIFT 特征。2. 直观理解例子给计算机看一张“猫”的图片原始数据是 256 × 256 的像素矩阵计算机无法直接理解语义。过程通过深度神经网络把这张图片转换成一个包含 512 个数字的向量如 [0.21, -0.45, 0.88, …]。结果这个向量就是“猫”的表征Embedding。在这个向量空间里猫和狗的向量距离很近而猫和汽车的向量距离很远。3. 核心应用大语言模型将单词或句子转换为词向量Word Embeddings让数学计算能够承载文字的“语义”。人脸识别将人脸图像转化为特征向量通过计算两个向量的距离来判断是否为同一人。二、 流形学习Manifold Learning1. 核心定义流形学习是表征学习的一个重要分支属于非线性降维技术。它假设高维的现实数据其实集中在一个低维的流形结构上其核心任务是在保持数据内在几何结构的前提下将高维数据映射到低维空间。2. 直观理解瑞士卷蛋糕高维状态想象一个三维空间中的“瑞士卷”蛋糕。如果你直接计算蛋糕外层和内层两点之间的“直线距离”欧氏距离由于蛋糕是卷起来的这两点看起来离得很近但实际上沿着蛋糕皮“走”过去的话它们距离很远。流形展开流形学习的任务就是找到这个规律把这个三维的瑞士卷“压平、展开”变成一张二维的纸。展开后原本卷在一起的数据点的真实邻近关系测地线距离就被还原了。3. 经典算法Isomap等距映射通过计算样本点之间的最短路径来近似流形上的真实距离测地线距离。t-SNE / UMAP现代最常用的可视化算法能把千万维的数据压缩到 2D 或 3D 屏幕上并完美保持同类聚集、异类分开的拓扑结构。三、 两者的关系与区别特性表征学习 (Representation Learning)流形学习 (Manifold Learning)范畴关系概念更宽泛是现代深度学习的核心包含流形学习。是表征学习的一种特定几何方法侧重于降维。关注核心关注特征的有效性是否有利于分类、预测、生成。关注空间的几何拓扑结构近邻关系是否被破坏。实现手段多通过深度神经网络如 CNN, Transformer, AE自底向上组合。多通过矩阵特征值分解、概率映射等数学几何方法。空间变化可以增加维度如核方法也可以减少维度。绝大多数情况下是高维向低维的映射。流形学习是数学家试图通过几何展开来揭示数据的本质低维结构而表征学习是现代 AI 试图通过网络嵌入来寻找支持下游任务的最优数据表达。