multi-class-text-classification-cnn-rnn参数调优清单training_config.json中10个关键超参数如何设置【免费下载链接】multi-class-text-classification-cnn-rnnClassify Kaggle San Francisco Crime Description into 39 classes. Build the model with CNN, RNN (GRU and LSTM) and Word Embeddings on Tensorflow.项目地址: https://gitcode.com/gh_mirrors/mu/multi-class-text-classification-cnn-rnn这篇文章基于开源项目multi-class-text-classification-cnn-rnn它用 CNN、RNNGRU/LSTM和词向量Word Embeddings在 TensorFlow 上实现多类文本分类句子分类任务将 Kaggle 旧金山犯罪描述数据分为 39 个类别。项目中所有可调节的超参数都集中在根目录的 training_config.json 一个文件里非常适合新手做超参数调优。下面是一份覆盖 10 个关键超参数的完整清单照着改即可。一、先认识项目多类文本分类的超参数藏在哪里项目结构非常紧凑四个核心文件分工明确文件职责train.py训练入口读取配置、构建模型、循环训练并保存最优模型text_cnn_rnn.py模型定义词向量 → 多尺度卷积最大池化 → GRU → 39 类输出data_helper.py文本清洗、建词表、句子填充padding、数据分批predict.py加载已训练模型对未见数据做预测训练只需一条命令见 README.mdpython3 train.py ./data/train.csv.zip ./training_config.jsontraining_config.json 共有 11 个字段10 个直接影响模型效果的训练超参数外加一个控制验证频率的evaluate_every。下面按训练基础 → 词向量层 → CNN 层 → RNN 层 → 正则化的顺序逐一给出 10 个关键超参数的设置建议。二、10个关键超参数调优清单逐个拆解先看一张速查总表默认值即 training_config.json 中的值#超参数默认值作用层一句话说明1batch_size128训练流程每次梯度更新使用的样本数2num_epochs1训练流程训练轮数3embedding_dim300词向量层每个词向量的维度4non_staticfalse词向量层词向量是否参与训练5filter_sizes3,4,5CNN 层卷积核大小捕捉长短 n-gram6num_filters32CNN 层每种卷积核的通道数7max_pool_size4CNN 层池化步长压缩序列长度8hidden_unit300RNN 层GRU 隐藏单元数9dropout_keep_prob0.5正则化训练时神经元的保留概率10l2_reg_lambda0.0正则化L2 正则强度1️⃣ batch_size每批训练样本数默认 128在 train.py 中控制数据分批大小。取值越大梯度越稳定、GPU 利用率越高但显存占用越大取值越小更新越频繁泛化往往更好。显存不足OOM优先降到 64 甚至 32这是第一顺位的调节项训练稳定想加速可试 256注意改 batch_size 会等比改变每个 epoch 的步数需结合evaluate_every一起观察日志。2️⃣ num_epochs训练轮数默认 1该数据集被切分为 8:1:1 的训练/验证/测试集train.py默认只跑 1 个 epoch属于快速出结果的保守设置。想提高准确率逐步加到 25观察验证集准确率是否仍在上升若加 epoch 后验证集准确率开始下降说明开始过拟合应停止并加强正则化见第 9、10 项。3️⃣ embedding_dim词向量维度默认 300对应 data_helper.py 中的load_embeddings项目为每个词生成 300 维随机向量作为初始化。维度越大词义表达能力越强但参数量和显存同步增长想缩小模型可降到 100200若后续改用预训练词向量如 Word2Vec此值必须与词向量文件的维度保持一致。4️⃣ non_static词向量是否参与训练默认 false在 text_cnn_rnn.py 中false时词向量表是常量冻结true时作为可训练变量随梯度更新fine-tune。数据量小本项目约 5 万条保持false冻结向量更稳、训练更快数据量更大或准确率瓶颈时改true让向量针对 39 类犯罪描述做适配通常有提升空间。5️⃣ filter_sizes卷积核大小组合默认 3,4,5在 text_cnn_rnn.py 中为每个尺寸建一组卷积核分别捕捉 3、4、5 个词组成的局部模式n-gram。这是 TextCNN 经典配置。犯罪描述较短本项目训练后序列长度仅 14见 trained_results_1516404693/trained_parameters.json35 已足够覆盖大部分短语文本更长时可扩展为 2,3,4,5,7让模型同时看到更长的搭配修改时保持逗号分隔字符串格式不要加引号包裹整个数组。6️⃣ num_filters卷积核数量默认 32每种卷积核生成 32 个特征通道三种尺寸拼起来共 96 维特征再送入 GRU。39 个类别属于中等粒度分类32 通常够用想增强表达能力升到 64出现明显过拟合时回到 32 或降到 16。7️⃣ max_pool_size池化步长默认 4池化把卷积输出序列压缩为ceil(序列长度 / max_pool_size)本项目 14 / 4 ≈ 4也就是 GRU 只接收 4 个时间步text_cnn_rnn.py。它是序列长度与信息量的平衡点越大会把信息压缩得越狠注意它同时参与训练与预测时的real_len计算train.py、predict.py修改后必须重新训练预测端会自动读取trained_parameters.json中的新值一般保持 4 即可文本较长时可用 2 保留更多位置信息。8️⃣ hidden_unitGRU 隐藏单元数默认 300GRU 是本项目唯一的 RNN 层text_cnn_rnn.pyhidden_unit决定其记忆容量也是整个模型最大的参数来源之一。默认 300 与词向量维度一致是稳妥起点显存紧张降到 100200欠拟合、准确率上不去升到 500 再配合增加num_epochs观察。9️⃣ dropout_keep_probDropout 保留概率默认 0.5池化拼接后的特征会做 Dropouttext_cnn_rnn.pyGRU 输出也包了 DropoutWrapper训练时用此概率保留神经元验证与预测时固定为 1.0train.py。0.5 表示保留一半是常用默认值验证集与测试集准确率差距大过拟合把保留概率降到 0.30.5正则效果更强数据少、欠拟合可升到 0.70.8。 l2_reg_lambdaL2 正则强度默认 0.0损失函数为 softmax 交叉熵加上 L2 项loss mean(losses) l2_reg_lambda * l2_losstext_cnn_rnn.py。默认 0.0 表示不加 L2 正则。完全不想引入保持 0.0轻微过拟合从 0.001 起步逐步加大与 Dropout 二选一调优即可同时加大容易刹得过猛。特别提醒学习率没有放进配置文件而是硬编码为 RMSProp1e-3decay0.9位于 train.py。如果你发现改了配置却不生效很可能就差在这一步——想调学习率需直接改这一行并重新训练。三、调参策略与验证流程如何确认参数改对了一次只改一个参数其余保持默认跑一次训练训练日志每evaluate_every默认 200步会打印一次Accuracy on dev settrain.py这是判断参数好坏的核心依据验证集准确率刷新纪录时模型会自动保存为best_model.ckpt训练结束写入对应trained_results_时间戳/目录用预测脚本对 data/small_samples.csv 做快速抽查确认类别输出合理python3 predict.py ./trained_results_1516404693/ ./data/small_samples.csv预测结果会保存到predicted_results_时间戳/predictions_all.csv若样本带Category列日志还会直接给出准确率方便横向对比不同参数组合。四、常见问题新手调参最容易踩的 3 个坑显存爆了OOM按batch_size→hidden_unit→embedding_dim的顺序依次调小顺序比全改更容易定位问题训练集准确率高、测试集差典型过拟合。优先降dropout_keep_prob如 0.3、开小量l2_reg_lambda如 0.001再考虑减少num_filters改了 max_pool_size 后预测报错或结果异常必须重新训练预测端会从trained_parameters.json读取训练时的值训练与预测配置不一致时序列长度计算real_len会错位。这份清单覆盖了 training_config.json 中全部 10 个关键超参数。建议先从默认配置跑通一遍完整训练数据在 data/train.csv.zip拿到基线准确率后再按训练基础 → 正则化 → 模型容量的顺序逐项微调你就能在自己的机器上稳定地复现并改进这个多类文本分类模型了。【免费下载链接】multi-class-text-classification-cnn-rnnClassify Kaggle San Francisco Crime Description into 39 classes. Build the model with CNN, RNN (GRU and LSTM) and Word Embeddings on Tensorflow.项目地址: https://gitcode.com/gh_mirrors/mu/multi-class-text-classification-cnn-rnn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考