当前位置: 首页> 教育> 高考 > 东莞物流网站建设_2024年每日少儿新闻_中国公关公司前十名_深圳全网推互联科技有限公司

东莞物流网站建设_2024年每日少儿新闻_中国公关公司前十名_深圳全网推互联科技有限公司

时间:2025/7/11 8:18:13来源:https://blog.csdn.net/2301_77509762/article/details/144489786 浏览次数:1次
东莞物流网站建设_2024年每日少儿新闻_中国公关公司前十名_深圳全网推互联科技有限公司
🍑个人主页:Jupiter.
🚀 所属专栏:传知代码
欢迎大家点赞收藏评论😊

在这里插入图片描述

在这里插入图片描述

目录

  • 图片分类任务方法概述
      • 卷积神经网络(CNN)
      • 视觉Transformer(ViT)
      • 视觉图神经网络(ViG)
  • ViG模型
  • 模型架构
      • 图像输入
      • 图结构生成
      • 网络模块
      • 图处理
      • 特征变换
      • 多尺度处理
      • 输出头
    • ViG代码
    • 模型主体架构设计
  • 核心代码
  • 演示效果
  • 附件使用


  • 参考文献:需要本文的详细复现过程的项目源码、数据和预训练好的模型可从该地址处获取完整版:地址

图片分类任务方法概述

卷积神经网络(CNN)

  • 发展背景: CNN的出现标志着深度学习在图像识别领域的重大突破。最早的CNN模型可以追溯到1998年的LeNet,而2012年的AlexNet模型在ImageNet竞赛中取得优异成绩,使得CNN成为图像分类任务的主流方法。

分类方法优点:

  • 局部感知野: 通过卷积操作,CNN能够捕捉图像的局部特征,减少参数数量。
  • 参数共享: 卷积核在整张图像上共享,提高了模型的泛化能力。
  • 平移不变性: CNN具有平移不变性,能够识别图像中的物体,即使它们的位置发生变化。

视觉Transformer(ViT)

  • 发展背景: ViT于2020年被提出,借鉴了自然语言处理领域的Transformer架构,将自注意力机制应用于图像分类任务。

分类方法优点:

  • 自注意力机制: 能够捕捉图像中的长距离依赖关系,提高分类准确性。
  • 可扩展性: Transformer结构易于扩展,适用于大规模数据集。
  • 并行计算: 自注意力机制使得ViT能够更好地利用并行计算资源。

视觉图神经网络(ViG)

  • 发展背景: ViG的提出是为了解决CNN和ViT在处理不规则和复杂目标时的局限性。ViG将图像视为图结构,通过图卷积操作进行特征提取和分类。

分类方法优点:

  • 灵活的图结构: ViG采用图结构表示图像,能够更好地处理不规则形状的物体,提高对复杂场景的识别能力。
  • 图卷积操作: 通过图卷积,ViG能够有效地聚合和更新节点信息,捕捉局部和全局特征。
  • 节点特征变换: FFN模块(多层感知器)用于节点特征变换,增强了模型的表达能力

ViG模型

图片切成patch
在这里插入图片描述

(a) Grid Structure

  • 作用:
    像素级信息捕获:通过将图像切分成均匀分布的小块(Patch),每个Patch代表图像的一个局部区域。
    空间关系保持:保留了图像的空间布局信息,使得模型能够理解对象的位置和相对位置。

  • 重要性:
    经典方法的基础:这是许多传统计算机视觉算法的基本假设,包括早期的人工设计特征提取方法和现代的深度学习模型(如卷积神经网络CNN)。
    简单直观:易于理解和实施,是初学者入门的好选择。
    (b) Sequence Structure

  • 作用:
    序列化处理:将图像的Patch按某种顺序排列,形成一维序列。
    时间维度模拟:虽然实际处理的是静态图像,但通过序列化的方式,可以引入类似于自然语言处理(NLP)领域的时间维度概念。

  • 重要性:
    Transformer的应用:这种结构特别适合于基于Transformer架构的方法,如Vision Transformer(ViT)。ViT等模型通过自注意力机制对序列化的Patch进行处理,从而有效地捕捉全局上下文信息。
    灵活性提升:相比固定大小的卷积核,序列化处理允许模型关注任意距离的Patch之间的关系,提高了模型的灵活性和泛化能力。
    © Graph Structure

  • 作用:
    非结构化数据建模:将图像中的Patch视为图中的节点,允许模型处理更加复杂和灵活的数据结构。
    适应性强:能够更好地适应各种形状和尺寸的对象,尤其是对于那些不能很好地用网格或序列描述的情况。

  • 重要性:
    图神经网络优势:结合图神经网络(GNN)的优点,能够有效处理具有复杂拓扑结构的数据,如社交网络、分子结构等。
    创新性突破:在视觉任务中引入图结构是一种创新尝试,有望带来新的突破和进展,特别是在需要精细分析和理解场景的情况下。

模型架构

Description

图像输入

首先,从一张原始图像开始。在这个例子中,图像展示了一条鱼和一个人的部分身体。

图结构生成

接下来,将图像划分为若干个Patch,并将这些Patch作为图中的节点。每个节点代表图像的一部分,而边则表示这些部分之间的关联。红色圆圈内的节点可能表示图像的关键部分,比如鱼的身体或者人的衣服图案。

网络模块

然后,进入网络模块,该模块由两部分组成:图处理和特征变换。

图处理

在这一步骤中,模型会对图结构进行处理,以提取出各个Patch之间的关系和相互影响。这可以通过图卷积操作或其他类型的图神经网络技术完成。

特征变换

经过图处理之后,得到的特征会被送入特征变换模块。这里可能会涉及到一些标准的神经网络组件,如全连接层、激活函数等,目的是进一步提炼和转化所获得的信息。

多尺度处理

整个过程会重复多次(L次),每次都会产生一个新的特征图。这样做的好处是可以从不同的层次和角度来观察和理解图像内容,增强模型的表现力。

输出头

最后,所有经过多轮处理后的特征被整合起来,传递给输出头(Head for recognition)。这个输出头负责最终的识别任务,可能是分类、回归或者其他类型的问题。

ViG代码

PatchEmbedding
class Stem(nn.Module):def __init__(self, img_size=224, in_dim=3, out_dim=768, act='relu'):super().__init__()self.convs = nn.Sequential(nn.Conv2d(in_dim, out_dim//8, 3, stride=2, padding=1),nn.BatchNorm2d(out_dim//8),act_layer(act),nn.Conv2d(out_dim//8, out_dim//4, 3, stride=2, padding=1),nn.BatchNorm2d(out_dim//4),act_layer(act),nn.Conv2d(out_dim//4, out_dim//2, 3, stride=2, padding=1),nn.BatchNorm2d(out_dim//2),act_layer(act),nn.Conv2d(out_dim//2, out_dim, 3, stride=2, padding=1),nn.BatchNorm2d(out_dim),act_layer(act),nn.Conv2d(out_dim, out_dim, 3, stride=1, padding=1),nn.BatchNorm2d(out_dim),)def forward(self, x):x = self.convs(x)return x

模型主体架构设计

self.backbone = Seq(*[Seq(Grapher(channels, num_knn[i], 1, conv, act, norm,bias, stochastic, epsilon, 1, drop_path=dpr[i]),FFN(channels, channels * 4, act=act, drop_path=dpr[i])
) for i in range(self.n_blocks)])

核心代码

聚合特征

class MRConv2d(nn.Module):def __init__(self, in_channels, out_channels, act='relu', norm=None, bias=True):super(MRConv2d, self).__init__()self.nn = BasicConv([in_channels*2, out_channels], act, norm, bias)def forward(self, x, edge_index, y=None):print(x.shape, edge_index.shape)x_i = batched_index_select(x, edge_index[1])print(x_i.shape)if y is not None:x_j = batched_index_select(y, edge_index[0])else:x_j = batched_index_select(x, edge_index[0])print(x_j.shape)x_j, _ = torch.max(x_j - x_i, -1, keepdim=True)b, c, n, _ = x.shapex = torch.cat([x.unsqueeze(2), x_j.unsqueeze(2)], dim=2).reshape(b, 2 * c, n, _)print(x.shape)return self.nn(x)

演示效果

在这里插入图片描述

附件使用

  • 安装相应依赖包
pip install -r requirements.txt
  • 获取cifa10数据集
import torchvision
import torchvision.transforms as transforms
  • transforms用于数据预处理
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])
  • 下载并加载训练数据集
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,shuffle=True, num_workers=2)
# 下载并加载测试数据集
testset = torchvision.datasets.CIFAR10(root='./data', train=False,download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,shuffle=False, num_workers=2)
  • CIFAR-10数据集中的类别
import torchvision
import torchvision.transforms as transforms# transforms用于数据预处理
transform = transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])# 下载并加载训练数据集
trainset = torchvision.datasets.CIFAR10(root='./data', train=True,download=True, transform=transform)
trainloader = torch.utils.data.DataLoader(trainset, batch_size=4,shuffle=True, num_workers=2)# 下载并加载测试数据集
testset = torchvision.datasets.CIFAR10(root='./data', train=False,download=True, transform=transform)
testloader = torch.utils.data.DataLoader(testset, batch_size=4,shuffle=False, num_workers=2)# CIFAR-10数据集中的类别
classes = ('plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck')
  • 运行代码
python train.py
关键字:东莞物流网站建设_2024年每日少儿新闻_中国公关公司前十名_深圳全网推互联科技有限公司

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: