简介这份资源是遗传算法优化LSTM时间序列预测的Python实现代码面向具备一定深度学习基础、希望提升模型预测精度的研究者与开发者。它针对LSTM参数调优依赖经验、易陷入局部最优的问题用遗传算法对网络权重与偏置进行全局搜索适用于时序预测、序列建模等场景。压缩包共4个文件以2个py源码和2个pyc编译文件为主源码分别承担遗传算法优化与LSTM模型构建、数据加载职责整体仅8KB结构精简、便于直接运行与二次修改。目前已有6965人学习下载热度较高。读者可据此掌握种群编码、交叉变异、选择策略与LSTM训练评估的完整衔接流程理解如何用进化算法替代传统梯度调参并参考数据预处理、模型搭建、迭代优化到结果分析的实现思路快速迁移到自己的预测任务中。1. GA-LSTM 到底在优化什么从一组跑崩的预测结果说起很多人第一次做 LSTM 时序预测都会遇到同一个场景模型结构照抄、训练轮数拉满、损失曲线看着也挺漂亮但一到验证集或者真实预测阶段结果就开始飘。你调学习率、换优化器、加 dropout、堆层数折腾一整天误差降了一点点又反弹。问题往往不在 LSTM 本身而在于那几个你凭感觉设的超参数——时间窗口长度、隐藏层单元数、学习率、batch size。这几个参数组合起来是一个高维非凸空间手工网格搜索既慢又容易漏掉好解。GA-LSTM 要解决的就是这件事用遗传算法Genetic AlgorithmGA去自动搜索 LSTM 的超参数组合把「人肉调参」换成「种群进化」。它的基本逻辑是——把每组超参数编码成一条染色体用 LSTM 在验证集上的预测误差作为适应度通过选择、交叉、变异不断迭代最终收敛到一组较优的超参数。适合谁适合已经能跑通单模型 LSTM、但被调参卡住的人也适合做光伏功率、流量、销量、金融时序这类单变量或多变量预测想找一个可复现、可解释的自动调参方案的从业者。下面我按「先讲清原理和选型 → 再给可抄的代码 → 再讲坑」的顺序把整套方案拆开。2. 遗传算法和 LSTM 怎么接编码、适应度与搜索空间设计2.1 为什么是 GA而不是网格搜索或贝叶斯优化先说选型理由这决定了你后面代码怎么写。网格搜索的问题是维度灾难假设你只调 4 个参数每个取 5 个候选值就是 5^4625 次完整训练每次训练几分钟一天就没了而且网格点之间的好解可能刚好被跳过。贝叶斯优化在低维10 维表现很好收敛快但它依赖代理模型通常是高斯过程在参数是整数、类别混合的场景下实现起来更绕而且对初始点敏感。GA 的优势在于它天然处理混合类型编码整数、浮点、类别都能塞进一条染色体不依赖梯度不怕适应度函数不光滑而且种群并行搜索不容易陷在局部最优。代价是它需要更多次评估通常几十到上百代所以 GA-LSTM 的落地关键不是算法本身而是怎么把单次评估做快——这是后面避坑章要重点讲的。一个常见的误区是把 GA 当成「万能调参器」参数空间开得巨大结果跑了两天还没收敛。我的经验是GA 只调真正影响大、且你拿不准的 35 个参数其余用经验值固定。下面这张表是我在多个时序项目里总结的搜索空间建议。超参数建议搜索范围编码类型说明时间窗口 lookback6 ~ 48整数太短抓不到周期太长训练慢且易过拟合隐藏层单元数16 ~ 128整数步长 16单层够用双层收益递减学习率1e-4 ~ 1e-2对数浮点用 log 空间采样更合理batch size16 / 32 / 64 / 128类别影响训练稳定性和速度dropout0.0 ~ 0.5浮点数据量小才需要别默认开大2.2 染色体编码与适应度函数怎么写编码方式直接决定 GA 能不能搜到好解。我一般用「实数向量 取整映射」的方式染色体是一个长度等于待调参数个数的浮点向量每个基因在 [0,1] 之间解码时按上表的范围线性映射回真实值整数参数再 round。这样交叉变异都在 [0,1] 空间做不用为每种类型写不同算子。适应度函数是整个方案的核心。它接收一条染色体解码出超参数构建并训练一个 LSTM返回验证集上的误差越小越好所以 GA 里取负误差或做最小化。这里有个血泪经验适应度必须用固定的随机种子和固定的数据划分否则同一组超参数两次评估结果不一样GA 会以为自己在进化其实是在追噪声。import numpy as np import torch import torch.nn as nn from sklearn.preprocessing import MinMaxScaler # 固定随机种子保证适应度可复现 def set_seed(seed42): np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) # 染色体解码把 [0,1] 基因映射为真实超参数 def decode_chromosome(chrom): lookback int(round(6 chrom[0] * (48 - 6))) # 6~48 hidden int(round(16 chrom[1] * (128 - 16) / 16) * 16) # 16~128 步长16 lr 10 ** (-4 chrom[2] * 2) # 1e-4 ~ 1e-2 对数 batch_choices [16, 32, 64, 128] batch batch_choices[int(chrom[3] * 3.999)] # 类别映射 dropout chrom[4] * 0.5 # 0~0.5 return lookback, hidden, lr, batch, dropout上面这段是编码层逻辑很直白每个基因负责一个参数范围写死在解码函数里改范围只改这一处。注意hidden那行用了步长 16是为了避免搜索空间里出现 37、53 这种没有实际意义的单元数减少无效评估。lr用 10 的幂次映射是因为学习率在数量级上敏感线性采样会让大部分点挤在 1e-2 附近。2.3 用 PyTorch 搭一个可被 GA 调用的 LSTM适应度函数里要能快速构建模型所以模型定义要轻、要参数化。下面这个 LSTM 回归器接收hidden和dropout输入是(batch, seq_len, features)输出单步预测值。class LSTMRegressor(nn.Module): def __init__(self, input_size1, hidden_size64, dropout0.2): super().__init__() self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layers1, # 单层GA 不调层数避免搜索空间爆炸 batch_firstTrue ) self.dropout nn.Dropout(dropout) self.fc nn.Linear(hidden_size, 1) def forward(self, x): # x: (batch, seq_len, input_size) out, _ self.lstm(x) out out[:, -1, :] # 取最后一个时间步 out self.dropout(out) return self.fc(out)模型部分刻意保持简单单层 LSTM 一个全连接。原因在 2.1 说过GA 的评估次数多模型越复杂单次训练越慢整体不可接受。如果你的数据确实需要多层建议先把层数固定为 2不要放进 GA 搜索否则搜索空间翻倍、收益却不一定明显。2.4 适应度函数一次完整训练 验证误差把解码、建模、训练、评估串起来就是适应度函数。它必须返回一个标量GA 才能比较优劣。def build_sequences(data, lookback): X, y [], [] for i in range(len(data) - lookback): X.append(data[i:i lookback]) y.append(data[i lookback]) return np.array(X), np.array(y) def fitness(chrom, series, devicecpu): set_seed(42) # 关键每次评估同一种子 lookback, hidden, lr, batch, dropout decode_chromosome(chrom) # 数据归一化 滑窗 scaler MinMaxScaler() scaled scaler.fit_transform(series.reshape(-1, 1)).flatten() X, y build_sequences(scaled, lookback) # 按时间顺序划分不能 shuffle split int(len(X) * 0.8) X_train, y_train X[:split], y[:split] X_val, y_val X[split:], y[split:] X_train torch.tensor(X_train, dtypetorch.float32).unsqueeze(-1) y_train torch.tensor(y_train, dtypetorch.float32).unsqueeze(-1) X_val torch.tensor(X_val, dtypetorch.float32).unsqueeze(-1) y_val torch.tensor(y_val, dtypetorch.float32).unsqueeze(-1) model LSTMRegressor(hidden_sizehidden, dropoutdropout).to(device) optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.MSELoss() # 训练轮数固定避免 GA 又去调 epoch for epoch in range(30): model.train() for i in range(0, len(X_train), batch): xb X_train[i:i batch].to(device) yb y_train[i:i batch].to(device) optimizer.zero_grad() loss loss_fn(model(xb), yb) loss.backward() optimizer.step() # 验证集误差作为适应度 model.eval() with torch.no_grad(): pred model(X_val.to(device)) val_loss loss_fn(pred, y_val.to(device)).item() return val_loss这段代码有几个参数需要你按自己数据改epoch30是折中值太小模型没学好太大单次评估慢split0.8是时间序列的常见划分绝对不能 shuffle否则未来信息泄漏验证误差会假性偏低GA 会选出过拟合的解。set_seed(42)放在函数开头保证同一染色体多次评估结果一致这是 GA 能正常工作的前提。3. 把 GA 跑起来种群、选择、交叉、变异的完整实现3.1 种群初始化与精英保留策略GA 主循环的骨架是初始化种群 → 评估适应度 → 选择 → 交叉 → 变异 → 生成新一代 → 重复。我一般用实数编码 锦标赛选择 模拟二进制交叉SBX或简单算术交叉 高斯变异。新手最容易忽略的是精英保留每代把最好的几个个体直接复制到下一代防止好不容易找到的好解被交叉变异破坏掉。def initialize_population(pop_size, n_genes): return np.random.rand(pop_size, n_genes) def tournament_select(pop, fitness_vals, k3): idx np.random.choice(len(pop), k, replaceFalse) best idx[np.argmin(fitness_vals[idx])] # 误差越小越好 return pop[best].copy() def crossover(p1, p2, eta0.5): # 算术交叉按权重混合两个父代 alpha np.random.rand(len(p1)) child1 alpha * p1 (1 - alpha) * p2 child2 alpha * p2 (1 - alpha) * p1 return child1, child2 def mutate(child, mutation_rate0.1, sigma0.1): mask np.random.rand(len(child)) mutation_rate child[mask] np.random.randn(mask.sum()) * sigma return np.clip(child, 0, 1) # 基因必须保持在 [0,1]tournament_select里k3是锦标赛规模越大选择压力越大、收敛越快但容易早熟mutate里mutation_rate0.1表示每个基因有 10% 概率变异sigma0.1控制扰动幅度。np.clip那行不能省否则基因跑出 [0,1] 后解码会得到越界超参数直接报错或训练崩溃。3.2 主循环评估、进化、记录最优把上面拼起来就是完整流程。注意每代都要重新评估新个体的适应度并且记录历史最优方便最后取用。def run_ga(series, pop_size10, n_generations15, n_genes5, elite2): pop initialize_population(pop_size, n_genes) best_chrom, best_fit None, float(inf) history [] for gen in range(n_generations): # 评估当前种群 fits np.array([fitness(ind, series) for ind in pop]) # 更新全局最优 gen_best_idx np.argmin(fits) if fits[gen_best_idx] best_fit: best_fit fits[gen_best_idx] best_chrom pop[gen_best_idx].copy() history.append(best_fit) print(fGen {gen}: best{best_fit:.6f}) # 精英保留 elite_idx np.argsort(fits)[:elite] new_pop [pop[i].copy() for i in elite_idx] # 生成剩余个体 while len(new_pop) pop_size: p1 tournament_select(pop, fits) p2 tournament_select(pop, fits) c1, c2 crossover(p1, p2) new_pop.append(mutate(c1)) if len(new_pop) pop_size: new_pop.append(mutate(c2)) pop np.array(new_pop) return best_chrom, best_fit, historypop_size10、n_generations15是我在中小数据集上的保守配置总共 150 次评估。如果你的单次训练只要几秒可以加到 20×30如果单次要几分钟先降到 8×10 跑通流程。elite2表示每代保留两个最优个体这个值不要超过种群的一半否则多样性丧失太快。3.3 用最优超参数重训并出预测图GA 跑完后best_chrom就是最优超参数编码解码后用全量训练集重训一次再在测试集上预测。这一步和普通 LSTM 没区别但要注意重训时可以用更多 epoch因为 GA 阶段为了速度只训了 30 轮。def final_train_and_predict(series, best_chrom, epochs100): set_seed(42) lookback, hidden, lr, batch, dropout decode_chromosome(best_chrom) print(f最优参数: lookback{lookback}, hidden{hidden}, flr{lr:.5f}, batch{batch}, dropout{dropout:.3f}) scaler MinMaxScaler() scaled scaler.fit_transform(series.reshape(-1, 1)).flatten() X, y build_sequences(scaled, lookback) split int(len(X) * 0.8) X_train torch.tensor(X[:split], dtypetorch.float32).unsqueeze(-1) y_train torch.tensor(y[:split], dtypetorch.float32).unsqueeze(-1) X_test torch.tensor(X[split:], dtypetorch.float32).unsqueeze(-1) model LSTMRegressor(hidden_sizehidden, dropoutdropout) optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.MSELoss() for epoch in range(epochs): model.train() for i in range(0, len(X_train), batch): xb, yb X_train[i:ibatch], y_train[i:ibatch] optimizer.zero_grad() loss loss_fn(model(xb), yb) loss.backward() optimizer.step() model.eval() with torch.no_grad(): pred model(X_test).squeeze().numpy() # 反归一化 pred_inv scaler.inverse_transform(pred.reshape(-1, 1)).flatten() true_inv scaler.inverse_transform(y[split:].reshape(-1, 1)).flatten() return true_inv, pred_invepochs100是重训阶段的轮数比 GA 阶段多因为此时只训一个模型时间可接受。反归一化那两行容易写错pred和true都要用同一个 scaler 逆变换否则量纲对不上画出来的图会离谱。到这里一条完整的 GA-LSTM 链路就跑通了。4. 避坑与排查GA-LSTM 最容易翻车的 5 个地方4.1 适应度不稳定GA 在追噪声现象同一组超参数两次评估的验证误差差很多GA 的 best 曲线上下抖动最后选出的参数换台机器复现不出来。原因没有固定随机种子或者数据划分每次随机。LSTM 初始化、dropout、batch 顺序都带随机性。解决在fitness函数开头统一set_seed数据划分用固定索引而不是train_test_split的随机切分。时间序列必须按时间顺序切这一点前面强调过。4.2 搜索空间开太大跑一天不收敛现象GA 跑了 50 代best 还在缓慢下降看不出收敛迹象机器风扇狂转。原因把层数、epoch、优化器类型、激活函数全塞进搜索空间维度一高种群规模跟不上等于随机撒点。解决GA 只调 35 个关键参数其余固定。层数、epoch 这类用经验值不要交给 GA。搜索空间维度控制在 5 以内种群 1020 就够。4.3 数据泄漏导致验证误差假性偏低现象GA 选出的参数在验证集上误差极低一到真实预测就崩误差翻好几倍。原因归一化用了全量数据包括测试集或者滑窗时把未来值混进了训练集或者划分时 shuffle 了。解决归一化的fit只能在训练集上做测试集用训练集的 scaler 变换滑窗构造时严格保证y在X之后划分绝不 shuffle。这三条是时序预测的铁律。4.4 早熟收敛种群多样性丢失现象GA 前几代 best 下降很快之后十几代几乎不变最终结果还不如手工调参。原因选择压力过大锦标赛规模太大、变异率太低、精英保留太多种群很快被少数个体主导。解决锦标赛规模 k 控制在 23变异率保持 0.1 左右不要低于 0.05精英保留 12 个即可。如果还是早熟可以在后期提高变异率或者重启部分个体。4.5 单次评估太慢整体不可接受现象一次fitness要跑 3 分钟GA 150 次评估就是 7 个多小时调一次参数半天没了。原因epoch 设太大、batch 太小、数据没做窗口化预处理、没用 GPU。解决GA 阶段 epoch 压到 2030batch 别小于 16数据提前转成 tensor 缓存起来有 GPU 就上 GPU。如果还慢先用一个子集比如前 50% 数据做 GA 搜索找到大致范围后再用全量数据精调。5. 让 GA-LSTM 真正可用的两个进阶技巧5.1 用「代理模型 早停」把评估成本砍一半GA 最大的成本是评估次数。一个实用技巧是在 GA 前期用少量 epoch比如 10快速筛掉明显差的个体只对排名靠前的个体用完整 epoch 重新评估。这样既保留了搜索广度又不会在垃圾解上浪费算力。实现上就是在fitness里加一个quick_mode参数主循环前几代传 True。def fitness(chrom, series, quickFalse): epochs 10 if quick else 30 # ... 其余不变训练循环用 epochs另一个技巧是记录每次评估的(chrom, fitness)训练一个轻量回归模型比如随机森林作为代理预测新个体的适应度只对代理模型不确定的个体做真实评估。这个做法在评估特别贵的时候收益明显但实现复杂度上升建议先把基础版跑顺再考虑。5.2 怎么判断 GA 是真的有效而不是运气好很多人跑完 GA 看到误差比手工调参低就认为方案成功。但单次结果可能是运气。我的验证习惯是固定 GA 找到的最优参数换 3 个不同的随机种子各跑 5 次最终模型看误差的均值和方差同时用同一份数据手工调 35 组参数做对比。如果 GA 参数的均值和稳定性都更好才算真的有效。验证项做法合格标准稳定性最优参数换 3 个种子各跑 5 次误差标准差 均值的 10%对比基线手工调 35 组参数GA 均值优于手工最优收敛性看 best 曲线后 1/3 代基本平稳泛化性换一段时间的数据测试误差没有数量级跳变最后说个我自己的习惯每次跑 GA-LSTM我都会把history每代最优误差存下来画一条曲线。如果这条曲线是阶梯状缓慢下降然后平稳说明搜索正常如果一直剧烈抖动八成是适应度不稳定先回去查种子和数据划分别急着加代数。这套方案不难难的是把每个环节的随机性管住。希望帮到你。本文还有配套的精品资源点击获取