一、降维的基础背景降维的概念与必要性在机器学习中降维是指在限定条件下减少随机变量的个数以提取出不相关的主变量。由于实际数据常面临多重共线性导致模型泛化能力弱、高维空间稀疏难以找到特征等问题且仅考虑单一变量会忽略潜在关联因此降维势在必行 。降维的目的减少特征属性的个数确保特征属性之间是相互独立的降维的两大方法特征选择Feature Selection选出有效的特征子集去掉不相关或冗余的特征特征的数值在选择前后不改变 。特征抽取Feature Extraction改变原特征空间将其映射到新的特征空间新特征是原特征的映射 。主成分分析PCA与 LDA 的对比PCA 是一种无监督的降维方法而 LDA 是一种基于分类模型进行特征属性合并的操作是一种有监督降维方法既可以用于二分类也可以用于多分类 。二、线性判别分析LDA的核心思想2.1 基本概念LDA 由 R.A. Fisher 在1936年提出既可用于分类问题也可用于有监督的特征降维 。2.2 主要思想训练集【特征x标签y】给定训练集设法将样例投影到一条直线或低维空间上使得同类样例的投影点尽可能接近同时异类样例的投影点中心尽可能远离。推理预测【不需要label】在新样本分类时将其投影到该直线上根据投影点位置确定类别 。三、 二分类 LDA 的数学原理推导3.1 如何进行投影可以用向量的内积来表示特征向量 x在向量w上的投影长度投影是通过一个线性模型来实现的实现方法为将样本的特征向量 x投影到线性模型的权值向量 w上。3.2 解决二分类问题公式优化目标量化类间散度矩阵异类尽可能远通过比较两个类别均值投影点之间的距离来量化表达式为类内散度矩阵同类尽可能近通过同类样本投影点与其均值投影点之间的距离平方和来量化即。仅仅使得类中心相距远是不够的如果同类样本方差过大分布分散依然会产生类别重叠 。目标函数广义瑞利商综合上述两点最大化目标函数J即类间散度矩阵S_b与类内散度矩阵S_w的比值求解方法根据广义瑞利商的性质J(w) 的最大值即为矩阵的最大特征值而最优的投影方向 w$就是该最大特征值对应的特征向量 。具体流程四、多分类 LDA 与算法流程多分类扩展对于K类问题可以计算全局散度矩阵。其中总类内散度矩阵是每一类散度矩阵之和 类间散度矩阵。降维维度的限制在多分类 LDA 中最多只能将特征维度降到 K-1$维K$为类别总数因为矩阵的非零特征值最多只有 K-1 个 。LDA 算法与二分类具体步骤一样五、应用实例与总结5.1实例分析实验结果求出来两个特征值012.2007(图一是用了0图二是用了12.2007)结果证明使用最大特征值12.2007对应的特征向量进行投影能够实现两个类别的良好分离Good separability 。5.2总结LDA 降维的目标就是将带标签的数据投影到低维空间同时尽可能保留数据样本信息、寻找最佳可分投影方向并严格满足“同类近、异类远”的条件 。LDA降维的目标将带有标签的数据降维投影到低维空间同时满足三个条件尽可能多地保留数据样本的信息选择最大的特征对应的特征向量。寻找使样本尽可能好分的最佳投影方向。投影后使得同类样本尽可能近不同类样本尽可能远。