1. Tensor基础概念与核心操作Tensor是PyTorch中最基本的数据结构你可以把它理解为一个多维数组。和NumPy的ndarray类似但Tensor有两个额外的超能力自动求导和GPU加速。在实际项目中我们90%的时间都在和Tensor打交道所以掌握它的核心操作至关重要。先看一个简单的例子感受下Tensor的创建import torch # 创建一个3x3的随机初始化Tensor x torch.rand(3, 3) print(x)Tensor最常用的操作可以归纳为以下几类创建操作torch.zeros(), torch.ones(), torch.randn()数学运算add(), mul(), matmul()形状操作view(), reshape(), transpose()索引操作index_select(), masked_select()设备转换cpu(), cuda()我刚开始用PyTorch时经常混淆view和reshape。后来发现它们虽然功能相似但底层机制完全不同view要求内存连续而reshape不需要。举个例子x torch.arange(6) y x.view(2, 3) # 成功 z x.transpose(0, 1).view(2, 3) # 报错因为转置后内存不连续2. 内存优化视图操作与原地操作在训练大模型时内存管理是个头疼的问题。PyTorch提供了几种节省内存的技巧我们先从视图操作说起。视图操作如view、reshape不会复制数据而是共享底层存储。这意味着a torch.rand(4, 4) b a.view(2, 8) # b和a共享内存 a[0, 0] 5 # b的值也会改变原地操作in-place通过在方法名后加下划线标识比如add_()。它们直接修改原Tensor而不创建新对象x torch.ones(3) y torch.ones(3) x.add_(y) # 直接修改x不返回新Tensor但要注意有些操作看似是视图实际会触发复制。比如contiguous()方法x torch.rand(3, 4) y x.t() # 转置是视图 z y.contiguous() # 这里会复制数据3. 广播机制与内存开销广播机制让不同形状的Tensor能直接运算。比如a torch.ones(3, 1) b torch.ones(1, 3) c a b # 自动广播为3x3但广播可能带来意外的内存开销。看这个例子x torch.ones(1000, 1000) y torch.ones(1) z x y # y会被广播成1000x1000临时占用大量内存实测发现在GPU上这种临时内存可能引发OOM。解决方案是显式扩展y y.expand_as(x) # 提前扩展避免广播时的临时分配4. GPU显存优化实战技巧当你的模型在GPU上跑不动时试试这些方法设备转移优化# 不推荐频繁在CPU和GPU间切换 for data in dataloader: data data.cuda() # ... # 推荐一次性转移所有数据到GPU dataset [d.cuda() for d in dataset]内存复用技巧# 预分配内存池 buffer torch.empty_like(input_tensor) def process(x): buffer.copy_(x) # 复用buffer # 处理逻辑...梯度累积当batch太大时可以分小batch计算梯度后累加optimizer.zero_grad() for i, (inputs, targets) in enumerate(dataloader): outputs model(inputs) loss criterion(outputs, targets) loss.backward() if (i1) % 4 0: # 每4个batch更新一次 optimizer.step() optimizer.zero_grad()5. 高级操作与性能对比PyTorch提供了一些容易被忽视但高效的操作爱因斯坦求和# 传统矩阵乘法 torch.mm(a, b) # 使用einsum更灵活 torch.einsum(ij,jk-ik, a, b) # 等价矩阵乘内存占用对比操作是否共享内存适用场景view()是连续内存reshape()可能否通用transpose()是矩阵转置contiguous()否使内存连续我在ResNet训练中实测发现合理使用view比reshape快15%左右因为避免了内存检查。6. 常见坑与调试技巧新手常踩的坑autograd与in-place冲突x torch.rand(3, requires_gradTrue) y x[0] # 合法 y 1 # 非法修改了需要梯度的Tensor误用detach# 错误用法丢失中间梯度 h x.detach() * 2 # 断开计算图 # 正确做法 with torch.no_grad(): h x * 2调试显存泄漏时可以用这个代码段import torch def get_gpu_memory(): return torch.cuda.memory_allocated() / 1024**2 print(f当前显存占用: {get_gpu_memory():.2f}MB)7. 实际案例线性回归实现最后我们用一个完整的线性回归例子串联所学知识# 数据准备 X torch.rand(100, 1) * 10 y 2 * X 1 torch.randn(100, 1) # 模型参数显式放在GPU上 w torch.zeros(1, requires_gradTrue, devicecuda) b torch.zeros(1, requires_gradTrue, devicecuda) # 训练循环 X, y X.cuda(), y.cuda() for epoch in range(100): y_pred X w b # 矩阵运算 loss ((y_pred - y)**2).mean() loss.backward() with torch.no_grad(): # 原地更新避免autograd w - 0.01 * w.grad b - 0.01 * b.grad w.grad.zero_() b.grad.zero_()这个例子展示了Tensor创建、设备转移、自动求导、原地操作等核心概念。注意我们使用了代替matmul这是PyTorch推荐的矩阵乘法运算符。