1.逻辑斯谛回归逻辑斯谛回归(LR)是经典的分类方法1逻辑斯谛回归模型是由以下条件概率分布表示的分类模型。逻辑斯谛回归模型可以用于二类或多类分类。逻辑斯谛回归模型源自逻辑斯谛分布其分布函数F(x)是S形函数。逻辑斯谛回归模型是由输入的线性函数表示的输出的对数几率模型。2.最大熵原理最大熵原理认为学习概率模型时在所有可能的概率模型分布中最大熵模型是最好的模型。所以最大熵原理也可以表达为在满足约束条件的模型集合中选取熵最大的模型。2.1 最大熵模型最大熵模型的学习求最值问题归结到引进拉格朗日乘子利用拉格朗日函数来求解求偏导令导函数为0求解得到最终结果也可以用极大似然估计法来求解结论表明对偶函数的极大化等价于最大熵模型的极大似然估计。