文章目录前言1. 二元分类模型1.1 二分类模型的定义1.2 二分类模型的可视化2. 逻辑回归模型Logistic Regression2.1 什么是逻辑回归?2.2 决策边界2.3 逻辑回归算法的损失函数2.4 逻辑回归的梯度下降前言本节重点介绍机器学习的第二类模型分类模型。侧重二分类模型的原理讲解。1. 二元分类模型1.1 二分类模型的定义只有两个可能输出的分类问题被称为二元分类。二元两个可能的类别或分类。我们常常把false默认为0true默认为1。但是true或者false并不意味着好坏只是类别的一种判定。这个邮件是垃圾邮件吗 Y/N明天是晴天吗 Y/N1.2 二分类模型的可视化我们以数轴的方式来展示二分类模型可以看到根据不同的肿瘤尺寸确定恶性or良性有两种可能。我们如果用线性回归的算法会出现一些局限。比如在预测恶性肿瘤的时候我们宁愿让尺寸大的都预测为恶性而不是预测为良性错失就医时间。线性回归算法的目标是拟合一条损失函数最小的直线一旦有一个点较远直线就会出现偏移导致预测精准度大幅度下降。基于此我们着重介绍逻辑回归算法。2. 逻辑回归模型Logistic Regression2.1 什么是逻辑回归?逻辑回归虽然名字中带回归但它是一个分类算法。它的输出是一个在 0 到 1 之间的概率值表示样本属于某一类的可能性。然后我们设定一个阈值通常为 0.5如果概率大于该阈值则预测为类别 1否则预测为类别 0。2.2 决策边界决策边界是恰好将不同类别分开的边界线。决策边界可以是线性的也可以是非线性的。非线性决策边界会更为麻烦。2.3 逻辑回归算法的损失函数在线性回归中我们使用平方误差函数作为损失函数目标是以损失函数值最小来训练模型。如果仍旧以平方误差作为损失函数在逻辑回归中呈现的是一个非凸函数有无数个局部最小值很难训练得到全局最小值。可视化图像如下因此逻辑回归的损失函数采用对数函数形式在这样的对数函数形势下如果真实值y yy1那么预测值越靠近1损失函数越小反之若真实值y yy0那么预测值越靠近0损失函数越小。在该对数函数下整体呈现一个凸函数特性全局只有一个最小值。2.4 逻辑回归的梯度下降梯度下降的算法与线性回归一致得出的结果形式也一样直到损失函数得到最小值。但是此处逻辑回归的公式不一样注意差别区分。