10-选修-逻辑回归Logistic RegressionStep1 Function set模型就是这个样子一个带有偏置的线性函数经过Sigmoid函数经过sigmoid激活以后输出的值被压缩到0-1这是跟线性回归最大的特点Step1 Goodness of Function决定模型的好-坏有N个样本要被分为两类所以最终的类别不是第一类就是第二类两者概率和加起来等于1也就是loss函数中1-fwb逻辑回归的损失函数是交叉熵Cross Entropy衡量两个概率分布之间的差异。在这里就是指真实概率分布和预测概率分布。在公示中y^表示真实值f表示模型预测值逻辑回归的损失函数为什么不跟线性回归的loss一样呢看step2Step3Find the best Function损失函数和其梯度下降公式为什么loss函数不使用square error在梯度下降时如果真实值是1但预测值为1和0时只有预测值为1是符合的而预测值为0时会出现严重的问题即真实值和预测值完全不符合而w权重更新成0了停止更新了。可视化可以发现其梯度下降的问题交叉熵可以更快的寻优而平方误差下降缓慢还有可能停滞第一个是判别式第二个是生成式两者找到的w和b是不同的因为第一个没做假设而第二个做了高斯分布的假设在考虑七个特征情况下Discriminative优于Generativegenenrative脑补了概率假设softmax——解决多分类问题归一化所有y_i的值相加起来等于概率1指数化取值在0-1得到一个概率向量通过argmax选择概率最大的类别作为其对应的类别。特征转换就是把原始特征映射到一个新的空间让数据在新的空间里更容易被分开多层逻辑回归组合构成基本的神经网络堆叠多层后每一层都在对前一层的输出进行空间扭曲和重组从而组合出极其复杂的非线性决策边界。