目录一、深度学习二、历史三、大模型和多模态大模型多模态区别四、机器学习和深度学习机器学习机器学习和深度学习区别五、特征工程六、自适应学习七、常见深度学习模型及拆解CNN卷积神经网络RNN循环神经网络TransformerGAN生成对抗网络八、模型训练与优化九、深度学习框架tensorflowpytorchkeras十、主要应用领域图像分类语义分割变化检测图像分类和语义分割的区别语义分割和变化检测的区别自然语言处理目标检测语音识别文章引用https://blog.csdn.net/Java_rich/article/details/143023422一、深度学习我理解的深度学习从形态上就是 一种类似于人脑神经网络的结构多个神经元组成多层次神经元组成功能就是 从大规模数据中学习复杂的特征表示特点是层次化特征提取端对端学习只需要关注输入和输出其他不用管二、历史CNN-------LeNet-5--------AlexNet(能在比赛中获胜了赢得了关注展示了能力)--------transformer(在自然语言领域展现能力)——GPT3大模型——GPT4 多模态理解和生成能力三、大模型和多模态大模型大模型参数数量非常多、规模庞大的机器学习模型尤其是深度学习模型。大模型的特点参数量大、数据需求高、计算资源消耗大、多任务能力、强大的生成能力多模态多模态Multimodality是指在信息处理、学习或交互过程中同时使用和整合来自多种不同感官或数据源的信息。在人工智能领域多模态涉及到处理和融合来自不同模态的数据以获得更全面、更准确的理解和决策能力。有哪些模态呢视觉模态包括图像、视频等视觉信息。例如通过计算机视觉技术可以从图像中识别物体、场景、人脸等。语言模态包括文本、语音等语言信息。例如自然语言处理技术可以理解文本内容、生成语言、进行语音识别等。听觉模态包括声音、音频信号等。例如通过音频分析可以识别音乐风格、语音情感等。触觉模态涉及触觉感知如在机器人领域通过触觉传感器感知物体的质地、形状等。其他模态如嗅觉、味觉等在一些特定的应用场景中也会被考虑。多模态融合特征融合在特征层面将不同模态的数据进行整合。例如将图像特征和文本特征结合用于图像描述生成任务。决策融合在决策层面结合不同模态的信息。例如在自动驾驶中同时考虑视觉信息如道路标志和传感器信息如雷达数据来做出驾驶决策。多模态学习通过多模态数据进行学习使模型能够更好地理解和生成跨模态的信息。例如多模态学习可以帮助模型理解图像和文本之间的关联从而生成更准确的图像描述或文本描述。区别数据类型多模态关注的是不同模态数据的整合和处理而大模型则侧重于模型的规模和参数量应用范围多模态系统通常用于需要跨模态理解和生成的场景而大模型则可以应用于各种需要复杂数据处理的任务技术重点多模态技术的核心在于模态间的融合和协同而大模型的核心在于通过大规模参数和数据来提升模型的性能四、机器学习和深度学习机器学习机器学习是一种使计算机系统利用数据来不断改进其性能的技术。深度学习是特殊的机器学习模型。方法包括监督学习、无监督学习、半监督学习、强化学习等。常用的算法有线性回归、逻辑回归、决策树、支持向量机SVM、随机森林、聚类算法等。机器学习和深度学习区别**模型结构**深度学习模型具有多层结构而传统机器学习模型通常结构较为简单。**特征工程**深度学习自动进行特征学习而传统机器学习需要人工进行特征工程。数据和计算需求深度学习需要大量的数据和计算资源而传统机器学习对数据和计算的需求相对较低。**适用任务**深度学习在处理复杂、高维数据的任务中表现更好而传统机器学习适用于一些简单或结构化数据的任务。五、特征工程从原始数据中提取有用特征六、自适应学习并不是一种算法而是一种策略可以加在任何角度、能优化网络和参数的策略。比如自适应调整学习率和正则化项。自适应学习是一种能够根据输入数据和环境变化自我调整的智能算法。其核心在于动态学习和实时优化旨在提高系统在复杂环境中的决策能力和性能。自适应学习算法通常涉及模型参数的动态调整、损失函数的自适应设计以及数据采样和加权的优化比如**AdagradAdaptive Gradient Algorithm**通过累积每个参数的历史梯度平方来调整学习率使得学习率对每个参数都是自适应的**RMSPropRoot Mean Square Propagation**改进了Adagrad使用梯度平方的指数加权平均来调整学习率避免了学习率过度衰减的问题**AdamAdaptive Moment Estimation**结合了动量Momentum和RMSProp的思想通过估计梯度的一阶矩和二阶矩来动态调整学习率AdaBoostAdaptive Boosting通过在每一轮迭代中调整样本权重和弱学习器的权重使模型能够专注于之前预测错误的样本从而提高整体性能。七、常见深度学习模型及拆解CNN卷积神经网络RNN循环神经网络TransformerGAN生成对抗网络八、模型训练与优化九、深度学习框架tensorflowGoogle开发、强大的图和数值计算能力、分布式计算和跨平台执行可在CPU、GPU和TPU等多种硬件平台上运行pytorch简洁设计和直观接口、keras高级API以其用户友好的界面和模块化设计而闻名十、主要应用领域图像分类图像分类是将整个图像分配给一个预定义的类别。其目标是识别图像的整体内容或主题而不是对图像中的每个像素进行分类。输出图像分类的输出是一个类别标签表示整个图像所属的类别。应用场景图像分类在内容检索、图像标注、相册管理、安全监控等领域有广泛应用。语义分割语义分割是一种像素级别的图像理解任务其目标是将图像中的每个像素分配给一个特定的类别。语义分割的输出是一个与输入图像大小相同的标签图其中每个像素的标签表示该像素所属的类别。应用场景语义分割在自动驾驶如道路、行人、车辆等的识别、医学图像分析如细胞、组织等的分割、视频监控、卫星成像等领域有广泛应用。技术挑战需要处理图像中的复杂场景和细节如物体的边界、不同类别的重叠等。变化检测变化检测是指识别在同一地理区域上采集但在两个不同时间拍摄的图像之间的差异。它通过比较同一场景的不同时间点的图像检测和分析其中的变化图像分类和语义分割的区别粒度语义分割是像素级的分类而图像分类是图像级别的分类。输出形式语义分割输出一个像素级别的标签图图像分类输出一个类别标签。应用场景语义分割适用于需要精细识别和理解图像内容的场景图像分类适用于对图像整体内容进行识别和分类的场景。复杂度语义分割通常比图像分类更复杂因为它需要处理图像中的每个像素并且涉及到更复杂的场景理解和物体识别。语义分割和变化检测的区别目标语义分割关注于识别图像中每个像素的类别而变化检测关注于识别同一场景在不同时间点之间的变化输入数据语义分割通常只需要单个时间点的图像而变化检测需要两个或多个时间点的图像应用场景语义分割适用于需要精细识别和理解图像内容的场景而变化检测适用于需要监测和分析地表或场景随时间变化的场景自然语言处理目标检测语音识别