一.深度学习流程1. 定义一个函数模型假设现实世界x与y之间的函数关系。我们可以估计一个函数模型这个就是我们常说的深度学习模型它代表我们认为的从输入到输出的映射关系。可以把理解成一个“黑箱”通过堆叠神经网络层如卷积层、全连接层来构建这个函数的具体形式。常见的模型包括 CNN用于图像、RNN用于序列、Transformer用于文本和多模态等。2. 定义一个合适的损失函数损失函数用来衡量模型预测值和真实标签之间的差距或)它是模型优化的 “指南针”目标是让损失值尽可能小。不同任务对应不同的损失函数分类任务交叉熵损失Cross-Entropy Loss回归任务均方误差MSE生成任务对抗损失GAN Loss3. 根据损失对模型进行优化这一步通过反向传播Backpropagation计算损失Loss对模型参数的梯度再用优化器如 SGD、Adam更新参数从而最小化损失。核心思想是让模型在训练数据上不断 “学习”调整自身参数以提升预测准确性。优化过程中还会用到正则化如 Dropout、L2 正则和学习率调度等技巧防止过拟合并加速收敛。4. 实例以线性模型为例1.定义模型这里的真实生成规律是是随机噪声所以理想模型是。表格里的是特征输入是带噪声的标签输出我们要从这些数据里学习出最接近真实规律的模型。我们假设模型形式为其中weight权重代表特征对预测值的影响大小。bias偏差代表模型的基准输出。模型的预测值。2.定义损失函数Loss Function损失函数用来衡量模型预测值和真实标签的差距这里使用绝对值损失损失值要求平均值它的作用评价参数损失值越小说明当前我们假设的越接近真实值。优化目标我们的任务就是找到能让损失值最小的和在这个例子里理想值是。3.模型优化环节用梯度下降法找到让损失函数最小的模型参数1.核心目标找到最优参数和使得损失函数最小这里的损失函数是之前提到的绝对误差2. 梯度下降的基本思想梯度下降是一种迭代优化算法它通过不断沿着损失函数负梯度方向更新参数来逐步逼近最小值点。梯度​表示损失函数在当前参数点的变化率和方向对于图上例子来讲即为。学习率控制每一步更新的幅度是一个超参数。3. 梯度下降的步骤以参数为例随机初始化随机选择一个初始参数右上标表示迭代的版本号表示第0代版本。计算梯度在处计算损失函数对的偏导数。更新参数沿着负梯度方向更新的值重复步骤 2-3直到梯度接近 0损失值不再明显下降即取到最接近最小值的情况图中的 V 形曲线是损失函数关于参数的图像曲线的最低点就是损失值最小的位置对应最优参数。当在处时梯度为正说明需要向左负梯度方向移动才能让损失变小。当在最低点左侧时梯度为负说明需要向右移动。梯度下降天然不会停在极大值核心原因梯度下降固定往负梯度走如果当前处在极大值附近梯度指向损失变大的方向减去 梯度 × 学习率参数会立刻往损失更小的区域逃离不会收敛到极大值。易错点梯度计算和参数更新是两个完全独立的阶段梯度计算阶段从输出层到输入层逐层顺序进行参数更新阶段逻辑上是所有参数同时更新的不存在 “逐层依次更新”为什么梯度更新要逐层进行反向传播的数学基础是链式法则这个特性决定了梯度的计算顺序必须是自顶向下的。以下图中例子为例