简介基于Python实现的朴素贝叶斯垃圾邮件过滤系统是一套可直接运行的完整项目包含全部源码与操作说明项目面向计算机科学、信息安全、数据科学与大数据、人工智能等专业的在校学生、教师及企业开发者既可作为机器学习的入门进阶练手也适用于毕业设计、课程设计、大作业或初期项目立项演示。代码已经过功能验证运行稳定内置训练集选择、精确度评估、自定义屏蔽词等功能可查看控制台逐封邮件的判断过程并支持联网测试真实邮箱邮件便于二次开发与功能扩展。压缩包共407个文件除20个Python脚本外还包括Markdown/TXT说明文档、若干ZIP包以及大量按编号组织的邮件样本文件可用于不同规模的训练和测试场景。整个资源包大小仅995KB结构清晰便于快速部署和学习。目前已有481人学习下载适合希望掌握朴素贝叶斯文本分类实战、从零构建垃圾邮件过滤系统的读者可获得完整源码、数据集、操作说明及排错思路是一份高性价比的毕设参考项目。1. 一套能跑通毕设的朴素贝叶斯垃圾邮件过滤系统源码包里到底有什么做毕设选型时很多人卡在“朴素贝叶斯公式能默写但垃圾邮件过滤系统不知道从哪行代码开始”这一步。这套基于 Python 的朴素贝叶斯垃圾邮件过滤系统我第一次跑通时被它的工程完整度愣了一下它不是单个算法文件而是带 GUI、带分层训练集、带精确度评估入口、甚至带 get_mail.py 真实邮箱测试模块的完整项目源码。对计算机、数据科学、人工智能方向的在校生它可以直接作为毕设主程序对刚开始学 Python 的读者它也能让你在几小时里把一个可解释的分类项目跑起来。整套代码的核心是朴素贝叶斯分类器支撑性模块包括邮件预处理、屏蔽词机制和精确度回判下面从训练集和特征工程开始拆。2. 训练集与特征工程先搞懂朴素贝叶斯在算什么2.1 从贝叶斯公式到邮件分类先验、似然与拉普拉斯平滑朴素贝叶斯的核心不是“朴素”两个字而是条件独立假设。邮件分类场景里把一封邮件拆成一组词每个词是一个特征假设这些特征在给定类别垃圾/正常下相互独立那么后验概率可以拆成先验和似然的乘积形式。实际代码里计算的是 P(spam|邮件内容) 和 P(ham|邮件内容) 哪个更大分母 P(邮件内容) 对两个类别是同一个值可以直接约掉所以实现时基本都是在比较分子P(spam) × ∏P(word_i|spam) 与 P(ham) × ∏P(word_i|ham)。一个容易被忽略的参数是拉普拉斯平滑。训练语料里邮件“中奖”出现了 10 次但“无人机”一次都没出现那么 P(无人机|spam)0所有词的概率乘起来直接归零——这封邮件无论其他词多像垃圾邮件都会被判成正常邮件。解决方法是分子加 1、分母加词汇表大小这就是拉普拉斯平滑平滑系数一般用 alpha1.0。源码里如果找不到平滑参数通常是写死的 1知道这一点对后面调参很有用。为什么这个项目选朴素贝叶斯而不是 SVM 或深度学习邮件分类是典型的高维稀疏文本朴素贝叶斯训练过程就是一遍语料扫描统计计数CPU 上几百封邮件几秒就能出模型更重要的是可解释性毕设答辩时评委问“为什么判定这封是垃圾邮件”你可以直接说是哪个词把概率拉高了。换成神经网络虽然效果可能更好但解释成本高、训练环境要求也高对一个毕设选题来说不划算。2.2 test-ham与test-spam目录结构训练集规模怎么摆源码包里的训练集不是单个文件而是一组目录。以 test-ham1.txt 这类文件为模板每个文件就是一封邮件的纯文本内容一行或多行都可以程序会读全文再分词。目录结构如下。目录放什么规模定位test-ham正常邮件文本如 test-ham1.txt中等训练规模test-ham3正常邮件文本数量更多大量训练规模test-spam垃圾邮件文本与 test-ham 对应配置训练时选择的是 test-ham 和 test-spam 的上级目录程序会自动识别这两个子目录。注意目录名不要带中文、不要带空格路径层次越浅越好。训练集规模直接影响先验概率我一般会先数一下两边文件数量spam 和 ham 尽量接近比如各 200 封。如果 spam 只有 20 封、ham 有 300 封模型会严重偏向把邮件判成正常邮件垃圾邮件的识别率会明显下降。另外GUI 里点“精确度”时如果直接用整个训练集回判会有一个乐观偏差问题——模型见过这些邮件精确度数字会虚高。想拿到更可信的指标训练前建议把每个目录留出 20% 的文件做测试或者用 sklearn 的 train_test_split 重新切分。这部分操作说明里没有写算是毕设答辩前值得自己补的一步。2.3 分词与特征表中文邮件和英文邮件分别怎么切英文分词很简单按空格切分再统一小写即可。中文就麻烦一些直接逐字切分会让“便宜”“方便”这类双字词被拆散特征质量明显下降。常见做法是用 jieba 分词如果你只是扩展这个项目pip install jieba 就够了。下面是构建特征词频表的典型写法。import jieba from collections import defaultdict STOP_WORDS {的, 了, 在, 是, 我, 你, to, the, a} def tokenize(text): text text.lower() return [w.strip() for w in jieba.cut(text) if w.strip() and len(w.strip()) 2 and w.strip() not in STOP_WORDS] def build_vocab(file_paths): freq defaultdict(int) for path in file_paths: with open(path, encodingutf-8, errorsignore) as f: for w in tokenize(f.read()): freq[w] 1 return freq逻辑说明tokenize 返回的是能参与概率统计的特征词列表len(w.strip()) 2 过滤掉“啊”“吧”这类单字语气词STOP_WORDS 过滤中英文常用停用词以免“我”“的”这类无意义高频词占据主要概率。build_vocab 读入一组邮件文件统计每个词出现的次数返回一个 dict这个 dict 就是后续概率计算的特征表。这里有个新手容易踩的参数坑为了图省事把高频词全加进停用词表结果“点击”“链接”“免费”这类垃圾邮件强特征也被滤掉了。停用词只加虚词、代词和通用助动词不要加实义动词和名词。英文的“click”“free”在垃圾邮件里是强特征必须留在特征表里。3. 训练与预测流程从训练集加载到精确度评估的完整跑法3.1 点击“选择训练集开始训练”底层那几步到底做了什么GUI 启动后界面上的第一个按钮文案是“选择训练集开始训练”这个按钮把“选择目录”和“启动训练”两件事合在一起了。点击后弹出目录选择对话框你选中 test-ham 和 test-spam 的上级目录程序就开始扫描文件、分词、统计词频、计算先验概率整个过程在控制台能看到日志。目录选完后这个选择窗口可以手动关闭不影响后台训练。核心训练逻辑按最简单的方式实现如下。import os import pickle def train_from_dir(data_dir, model_pathmodel.pkl): spam_dir os.path.join(data_dir, test-spam) ham_dir os.path.join(data_dir, test-ham) spam_files [os.path.join(spam_dir, f) for f in os.listdir(spam_dir) if f.endswith(.txt)] ham_files [os.path.join(ham_dir, f) for f in os.listdir(ham_dir) if f.endswith(.txt)] spam_freq build_vocab(spam_files) ham_freq build_vocab(ham_files) n_spam, n_ham len(spam_files), len(ham_files) model { prior_spam: n_spam / (n_spam n_ham), spam_freq: dict(spam_freq), ham_freq: dict(ham_freq), vocab_size: len(set(spam_freq) | set(ham_freq)), } with open(model_path, wb) as f: pickle.dump(model, f) return model逻辑说明train_from_dir 接收的 data_dir 是 GUI 里选中的上级目录函数内部拼出 test-spam 和 test-ham 的完整路径spam_files 只保留 .txt 结尾的文件过滤掉目录里的临时文件或隐藏文件prior_spam 是垃圾邮件的先验概率按文件数比例计算prior_ham 不用单独存1 减去即可vocab_size 取两张词表的并集大小这是拉普拉斯平滑公式里的分母增量。参数说明model_path 默认生成在程序运行目录文件名为 model.pkl如果后续切换了不同规模的训练集记得换个文件名保存避免旧模型被覆盖。训练集目录名如果被改过程序会报“找不到 test-spam”这是第一个高频坑后面避坑章节展开说。3.2 精确度计算与每封邮件的判断过程控制台输出的含义点“精确度”按钮后程序遍历测试邮件对每一封调用预测函数控制台会打印类似下面的判断过程邮件文件名、命中的特征词和计数、spam 和 ham 的对数概率得分、最终判定结果和真实标签。打印这种过程日志对新手非常友好你一眼就能看出哪封邮件被哪个词“带偏”了。日志片段含义邮件 spam_001.txt当前处理的测试文件命中特征: 中奖(3次) 点击(2次)说明每个词贡献了多少次计数spam得分-12.35, ham得分-18.72对数后验概率数值越大越可信判定spam, 实际spam, 正确预测结果与真实标签对比精确度计算本身不复杂核心就是一个计数循环。def compute_accuracy(model, files, true_labels): correct 0 for path, label in zip(files, true_labels): with open(path, encodingutf-8, errorsignore) as f: pred predict(model, f.read()) if pred label: correct 1 return correct / len(files) if files else 0.0逻辑说明compute_accuracy 要求 files 和 true_labels 顺序一致通常来自同一个目录列表每一封邮件都重新走一遍分词、查表、对数概率比较的完整流程。参数说明为什么点“精确度”后“需要一段时间”因为每封邮件要分词出几百个词每个词要查 spam 和 ham 两张词频表再做浮点对数运算几百封邮件就是几万次查找和乘法。界面看起来像卡住其实在跑看控制台日志滚动就能确认。别在窗口标题变成“未响应”时反复点按钮后面避坑章节会专门处理这个问题。3.3 输入邮件号测试单封样本预测模块的手动验证GUI 里的“输入想要测试的邮件号即可判断”对应的是 test-ham1、test-ham2 这类编号文件。手动验证的价值在于快速迭代改一个参数跑一次单封样本几秒钟就知道效果不用等全量精确度计算。预测模块完整写法如下。import math def predict(model, text, alpha1.0): words tokenize(text) log_spam math.log(model[prior_spam]) log_ham math.log(1 - model[prior_spam]) vs model[vocab_size] total_spam sum(model[spam_freq].values()) total_ham sum(model[ham_freq].values()) for w in words: ns model[spam_freq].get(w, 0) alpha nh model[ham_freq].get(w, 0) alpha log_spam math.log(ns / (total_spam vs * alpha)) log_ham math.log(nh / (total_ham vs * alpha)) return spam if log_spam log_ham else ham逻辑说明predict 先取先验的对数作为初始得分然后遍历分词结果每遇到一个词就在两张词频表里查计数加上 alpha 做拉普拉斯平滑除以“类别总词次数 词汇表大小 × alpha”得到平滑后的条件概率累加到对数得分里。最终比较 log_spam 和 log_ham哪个大就判哪个类别。参数说明alpha 是平滑系数默认 1.0total_spam 是 spam 类别下所有词出现次数之和total_ham 同理未登录词在词频表里取不到计数用 get 返回 0再加 alpha这样训练语料里没见过的词也不会让整封邮件概率变成 0。为什么用 log 而不是直接乘概率因为几百个词的条件概率都是小于 1 的小数连乘会浮点下溢成 0取对数后乘法变成加法数值稳定得多。这个细节答辩时问到的概率很高建议把原因说清楚。4. 屏蔽词机制与GUI操作自定义词库和内置词库怎么配合4.1 内置屏蔽词的两种风格与适用场景资源说明里特意提到“点击屏蔽词可以自定义或使用内置的两种屏蔽词”这两张词表的功能定位完全不同混用会导致误判率飙升。第一种是通用噪音词表装的是“发票”“代开”“中奖”“点击”这类垃圾邮件高频词第二种是强特征词表装的是明显涉及敏感内容的词命中后直接拉高垃圾概率。内置词表作用命中后的处理噪音词表过滤无意义词防止“点击”“链接”这类弱特征干扰模型分词阶段直接丢弃强特征词表覆盖训练集里没见过的明显垃圾词预测阶段给概率加成或直接判定为垃圾处理时机不一样噪音词在预处理阶段就丢掉根本不会进入特征表强特征词则留在预测阶段干预结果。理解这个区别后你在“点击屏蔽词”窗口里选择哪套词表时就不会犯糊涂。噪音词表适合用来减少误判强特征词表适合用来提高召回率两个都要配置的话先加噪音词再加强特征词。还要提醒一点配完屏蔽词后先搞清楚它影响的是训练阶段还是预测阶段。如果噪音词表在训练阶段也参与过滤改完词表必须重新训练如果只是预测阶段过滤模型不用重训。最省事的做法是改完任何词表都重新跑一次训练保证训练和预测的特征空间一致否则会出现“训练时出现的词预测时被屏蔽掉”这种前后不一致的隐性 bug。4.2 自定义屏蔽词格式、编码和加载逻辑自定义屏蔽词表就是一个普通的文本文件每行一个词UTF-8 编码保存。这里最大的坑是 Windows 记事本默认的 ANSI 编码用它存中文词表后程序读出来全是乱码匹配不到任何词。加载代码很短。def load_blockwords(path): words [] with open(path, encodingutf-8) as f: for line in f: w line.strip() if w and not w.startswith(#): words.append(w) return words逻辑说明逐行读取词表strip 去掉换行符和首尾空格空行跳过# 开头的是注释行。编码用 utf-8 打开这是与 Windows 记事本兼容最稳的做法。参数说明词表词条不要太短两个字的词容易误伤正常邮件。“领奖”“奖品”这类命中可以理解“活动”这个词太宽泛很多正规营销邮件也会带加了之后正常邮件被判成垃圾的概率会明显上升。我一般会先用强特征词表跑一轮看误判样本再加自定义词而不是一上来就堆词条。4.3 GUI交互流程训练窗口、精确度按钮与屏蔽词窗口的关系整套 GUI 的操作顺序是固定的启动程序点“选择训练集开始训练”选完目录后训练自动开始训练完成后关闭目录选择窗口点“精确度”看整体效果点“屏蔽词”配置词表最后输入邮件号测单封样本。顺序不能乱核心原因是精确度和单封预测都依赖训练产物 model.pkl模型不存在时点按钮要么报错要么静默失败。“选择训练集”的对话框是模态的弹出的目录选择框阻塞主窗口的操作选完目录之前你无法点击其他按钮。这不是 Bug是 tkinter 对话框的正常行为。屏蔽词窗口可以在训练前打开也可以在训练后打开但配置完词表后如果要让噪音词过滤逻辑生效必须重新训练一次。界面看起来卡住时先看控制台日志在滚动就说明程序在干活耐心等就行。5. 避坑指南训练、预测和中文编码的五个常见问题5.1 指令练完点精确度结果一直在50%上下现象训练日志正常输出但点“精确度”后准确率只有 50% 左右跟猜硬币差不多。原因最常见的有三个。一是训练集和测试集混用点精确度时回判的数据就是训练数据理论上应该很高如果只有 50%说明特征根本没学进去二是 spam 和 ham 文件数量严重不平衡比如 spam 只有 20 封、ham 有 300 封模型把所有邮件都判成 ham精确度就被拉低三是停用词过滤不到位“的”“了”“我”这类词占据了主要概率真正有区分度的词反而没权重。解决先打印两个目录的文件数量让 spam 和 ham 数量尽可能接近。然后检查停用词表把虚词加进去但保留“点击”“免费”这类实义词。最后把“点精确度”改成用留出的测试集不要用训练集回判。5.2 控制台大量刷未登录词单封邮件预测要好几秒现象预测一封邮件时控制台出现大量“未找到xx词跳过”的日志单封判断耗时明显变长。原因测试邮件和训练语料主题差异太大很多词在训练集里从未出现过。每查一个未登录词程序都要在词频表里做一次无效查找日志输出本身也有开销。这在换了一批真实邮件测试时特别明显。解决把词频表转成 set 做快速判断未登录词统一当成一个特殊 token 处理。常见做法是在训练时也留一个 UNK 计数预测时把所有没见过的词合并到这个桶里模型就不会对完全未知的词束手无策。这样日志量大幅减少速度也能接受。5.3 读取邮件txt时抛UnicodeDecodeError现象程序跑着跑着突然报 UnicodeDecodeError: utf-8 codec cant decode byte训练中断。原因Windows 下很多邮件文本的存盘编码是 GBK/GB2312代码用 utf-8 打开就会崩。尤其用 Outlook 或网页邮箱导出邮件时另存的 txt 大概率不是 UTF-8。解决打开文件时指定 encodinggb18030这个编码覆盖率比 gbk 更全或者用 errorsignore 跳过无法解码的字节。我一般会优先试 gb18030再不行就 errorsignore 兜底。项目里如果多处打开了 txt 文件把所有 open 的 encoding 参数统一改一遍别只改一处。5.4 精确度按钮点击后窗口卡死标题变成未响应现象点了“精确度”后GUI 窗口几千封邮件处理时完全无响应Windows 标题栏出现“未响应”提示。原因整个预测循环跑在 tkinter 主线程里循环阻塞了消息队列界面刷新和按钮事件都无法响应。这是 tkinter 新手最容易翻车的地方不是程序真的死了是线程模型没处理好。解决开发阶段最直接的办法是别反复点击按钮等控制台日志输出完。想优雅一点就把精确度计算丢到 threading.Thread 子线程里执行主线程只负责把结果展示到标签上。这个改动量不大但对毕设演示体验提升明显演示时窗口卡到未响应会很尴尬。5.5 换了一台电脑重新训练加载旧模型报错现象用 A 电脑训练好的 model.pkl 拷到 B 电脑运行点精确度时直接抛 EOFError 或者 pickle 解包失败。原因pickle 保存的对象包含 Python 类引用和版本信息Python 3.8 训练的模型拿到 Python 3.11 环境里读二进制结构不兼容的情况很常见。另外模型文件路径写死也会导致换目录后找不到文件。解决模型换环境后不要直接 load重新跑一次训练最省事。训练耗时也就几秒到几十秒比排查 pickle 兼容问题快得多。养成习惯model.pkl 只做临时缓存不当作交付物。6. 真实邮箱测试与进阶get_mail.py、中等规模训练集与错误样本复盘6.1 get_mail.py 的配置要点项目里若想测试真实邮箱中的邮件需要把 get_mail.py 里的邮箱账号改成自己的并在邮箱网页端配置。我这里说明常见做法以 QQ 邮箱为例设置里开启 IMAP 服务生成授权码把 IMAP 服务器地址 imap.qq.com、端口 993、账号和授权码填进代码网易邮箱对应 imap.163.com配置方式相同。登录密码不能直接用第三方客户端必须用授权码。连接测试通过后把收件箱里拉下来的邮件按训练集的格式存成 txt就能复用已有的预测流程。import imaplib imap_server imap.qq.com username 你的邮箱地址 auth_code 你的授权码 conn imaplib.IMAP4_SSL(imap_server, 993) conn.login(username, auth_code) conn.select(INBOX)参数说明993 是 SSL 端口IMAP4_SSL 会直接建立加密连接auth_code 是在邮箱网页端开启 IMAP 后生成的授权码不是登录密码。这个模块的价值在于它能把你真实收到的垃圾邮件拉回来当测试样本比手工复制粘贴邮件内容高效得多。6.2 先用 test-ham 中等规模跑一轮再上大量数据操作说明里写了 test-ham 放中等规模训练集、test-ham3 放大量训练集这其实是刻意设计的迭代路径。我建议你先用 test-ham 跑通整个流程确认精确度、屏蔽词、预测函数都没问题再切换到 test-ham3 做全量训练。直接上大量数据有个坏处一旦精确度不对你不知道是特征问题、编码问题还是数据规模问题排查范围会很大。中等规模数据能在一两分钟内完成训练和评估适合反复验证。6.3 把错误样本写回文件调参只改一个变量调参时最忌讳同时改好几个地方那样出了问题说不清楚是谁引起的。我养成的习惯是每次调参前先清空错误日志跑一遍测试集把预测错误的邮件路径、预测类别、真实类别写进 error_log.txt然后只改一个参数重跑。with open(error_log.txt, a, encodingutf-8) as f: if pred ! true_label: f.write(f{path}\t{pred}\t{true_label}\n)逻辑说明日志三列分别是邮件路径、预测结果、真实结果。通过它你能看出误判集中在哪个方向——是垃圾邮件漏判了还是正常邮件被误杀了。方向不同调整的参数也不同漏判多就降判定阈值误杀多就升阈值或扩充停用词表。从那以后我每次调参都强制清空上一轮的错误日志再重跑只看误判样本说话不凭“感觉差不多”下结论。这套源码本来就适合这种迭代式调优希望帮到你。本文还有配套的精品资源点击获取