简介本资源为英文原版技术图书《Hands-On Artificial Intelligence for Cybersecurity》的高清PDF电子书面向网络安全工程师、AI安全研发人员及具备Python基础的安全从业者聚焦AI技术在实战攻防中的落地应用。全书系统覆盖恶意软件检测、网络异常识别、用户行为认证等核心安全场景深入讲解监督学习、无监督学习与强化学习在威胁建模中的差异化应用并通过scikit-learn等工具实现PCA降维、决策树与随机森林分类、GAN鲁棒性评估等关键实践。资源为单文件PDF格式共1个文件大小18.74MB内容完整包含原书全部章节、代码示例与技术图解排版清晰便于研读与代码复现。目前已有68人下载学习适合希望构建端到端智能防御能力、掌握AI安全建模全流程的进阶读者。1. 这不是“AI安全”的PPT课件而是一套能跑通、能调参、能上线的实战防御链你手头那台刚装好Ubuntu 22.04的服务器正跑着Apache和MySQL日志里每天刷出几百条可疑的SSH爆破尝试、SQL注入payload、异常HTTP User-Agent——但你还在用grep awk硬筛靠人工翻日志判断是不是真攻击。这不是玄学是现实。这本书《Hands-On Artificial Intelligence for Cybersecurity》干了一件很实在的事它不讲“AI将如何改变网络安全”而是直接给你一套可复现、可调试、可嵌入现有运维流程的AI防御链——从邮件钓鱼检测第3章、恶意软件家族聚类第4章到网络流量异常识别第5章全部基于真实数据结构、真实样本特征、真实部署约束。它用Python生态scikit-learn NumPy Pandas PyTorch把监督学习逻辑回归/随机森林、无监督学习K-Means/PCA、甚至轻量级深度学习CNN图像化恶意软件全串成一条流水线。适合两类人一是安全工程师想甩掉纯规则引擎的沉重包袱二是AI工程师想避开金融/推荐场景的红海扎进一个有明确label、有物理边界、有业务反馈闭环的硬核战场。它不承诺“一键封神”但每章代码都能在你本地环境跑起来每个模型参数都有解释每个失败case都标了排查路径——这才是“AI赋能网络安全”该有的样子。2. 搭建可复现的AI安全实验环境Anaconda Jupyter 核心库版本对齐2.1 为什么必须用Anaconda而非pip全局安装网络安全AI任务对依赖版本极其敏感。比如scikit-learn 1.3.x的IsolationForest默认行为与1.0.x不同会导致异常检测阈值漂移PyTorch 2.0的CUDA绑定方式变更可能让旧版Volatility插件加载失败。Anaconda通过Conda环境隔离强制锁定整个栈的兼容性。本书实测环境也是Packt官方验证环境为组件版本说明Python3.9.16避开3.10的asyncio与某些老版pymongo冲突scikit-learn1.2.2支持HistGradientBoostingClassifier且与imblearn兼容PyTorch1.13.1cu117匹配NVIDIA驱动515避免CUDA out of memory黑匣子Volatility33.4.1原生支持Windows 11内存镜像解析修复CVE-2022-3029漏洞提示不要用pip install -r requirements.txt——书中未提供requirements.txt所有依赖需按章节逐步安装。这是作者刻意为之强迫你理解每个库的职责边界。2.2 创建专用Conda环境并激活# 创建名为cyber-ai的环境指定Python版本 conda create -n cyber-ai python3.9.16 # 激活环境Linux/macOS conda activate cyber-ai # Windows用户用 # conda activate cyber-ai这一步看似简单却是后续所有实验的基石。我见过太多人跳过此步直接在base环境装包结果scikit-learn更新后sklearn.ensemble.RandomForestClassifier的class_weight参数行为突变导致恶意软件分类F1-score暴跌30%——而问题根源只是conda默认升级了依赖树。2.3 安装核心AI与安全库带版本锁# 先装NumPy和SciPy底层数值计算基石 conda install numpy1.23.5 scipy1.10.1 -c conda-forge # 再装scikit-learn本书所有监督/无监督模型主干 conda install scikit-learn1.2.2 -c conda-forge # 安装Pandas处理CSV日志、PE文件特征表 conda install pandas1.5.3 -c conda-forge # 安装Matplotlib/Seaborn可视化攻击分布、特征重要性 conda install matplotlib3.7.1 seaborn0.12.2 -c conda-forge # 安装网络安全专用库关键 conda install -c conda-forge pefile2023.2.7 volatility33.4.1 # 最后装PyTorch仅当需要CNN恶意软件检测时 conda install pytorch1.13.1 torchvision0.14.1 cpuonly -c pytorch # 若有NVIDIA GPU替换cpuonly为cudatoolkit11.7参数说明pefile2023.2.7修复了旧版对Windows 11 PE头中IMAGE_NT_HEADERS64.OptionalHeader.DataDirectory[14]Guard CF字段的解析错误避免静态分析时误判为损坏文件volatility33.4.1内置windows.pslist.PsList插件支持Win11 22H2进程树重建这对检测无文件攻击fileless malware至关重要cpuonly明确禁用CUDA防止在无GPU机器上因驱动不匹配导致PyTorch初始化失败——这是新手最常翻车的点。2.4 启动Jupyter Notebook并验证环境# 在激活的cyber-ai环境中启动 jupyter notebook --ip0.0.0.0 --port8888 --no-browser --allow-root访问http://localhost:8888新建Notebook运行以下验证代码import numpy as np import pandas as pd import sklearn import pefile import volatility3 print(fNumPy version: {np.__version__}) print(fPandas version: {pd.__version__}) print(fscikit-learn version: {sklearn.__version__}) print(fpefile version: {pefile.__version__}) print(fVolatility3 version: {volatility3.__version__}) # 验证基础功能生成模拟网络日志数据 np.random.seed(42) log_data pd.DataFrame({ src_ip: np.random.choice([192.168.1.10, 10.0.0.5, 172.16.0.20], 1000), dst_port: np.random.choice([22, 80, 443, 3306], 1000), bytes_sent: np.random.lognormal(8, 1.5, 1000).astype(int), is_attack: np.random.binomial(1, 0.15, 1000) # 15%攻击样本 }) print(fLog data shape: {log_data.shape}) print(log_data.head())逻辑说明这段代码不只是检查版本更在模拟真实场景——网络日志的离散IP、端口、连续型流量字节数、二分类标签。它验证了环境能否承载后续所有章节的数据预处理流程。若报错ModuleNotFoundError: No module named volatility3说明Volatility3未正确安装需回退到2.3节重装。2.5 避坑Conda环境常见问题排查现象1conda activate cyber-ai后jupyter notebook命令未找到原因Jupyter未安装在当前环境或PATH未刷新。Conda环境激活后jupyter需单独安装。解决conda activate cyber-ai conda install jupyter -c conda-forge # 或使用pip确保pip指向当前环境 python -m pip install jupyter现象2import pefile报错AttributeError: module pefile has no attribute PE原因pip与conda混装导致模块污染。pip install pefile会覆盖conda安装的版本且新版本API变更。解决conda activate cyber-ai conda remove pefile conda install -c conda-forge pefile2023.2.7 # 强制清理pip残留 python -c import sys; print(sys.path) # 找到site-packages路径 # 手动删除该路径下所有pefile*目录和*.egg-info现象3Volatility3启动报错ImportError: cannot import name get_all_plugins from volatility3.framework.plugins原因Volatility3 3.4.1要求yara-python4.3.0但conda-forge默认安装的是4.2.x。解决conda activate cyber-ai conda install -c conda-forge yara-python4.3.1 # 验证 python -c import yara; print(yara.__version__)现象4PyTorch CUDA不可用torch.cuda.is_available()返回False原因NVIDIA驱动版本与cudatoolkit不匹配。本书要求驱动≥515cudatoolkit11.7。解决# 查看驱动版本 nvidia-smi # 若驱动515升级驱动Ubuntu示例 sudo apt update sudo apt install nvidia-driver-515 # 重启后重装PyTorch conda install pytorch1.13.1 torchvision0.14.1 cudatoolkit11.7 -c pytorch现象5Jupyter内核显示Python 3 (system)而非cyber-ai原因Jupyter未注册当前环境内核。解决conda activate cyber-ai python -m ipykernel install --user --name cyber-ai --display-name Python (cyber-ai) # 刷新Jupyter页面在Kernel → Change kernel中选择Python (cyber-ai)3. 从原始日志到可训练特征网络异常检测的数据工程全流程3.1 网络日志的三大致命陷阱与清洗策略网络流量日志如NetFlow、Suricata EVE JSON、Apache access.log不是规整表格而是充满噪声的“脏数据”。本书第5章强调三个必须处理的陷阱时间戳格式混乱Suricata输出timestamp:2023-05-12T08:23:45.123456而Apache日志是[12/May/2023:08:23:45 0000]。若不统一为datetime64[ns]时序聚合如每分钟连接数会失效。IP地址泛化不足原始日志含192.168.1.101、10.0.0.5等私有IP直接用于模型会导致过拟合模型记住IP而非行为。需映射为internal_ipv4、external_ipv4等类别。端口语义缺失数字端口22、3306需转为ssh、mysql等服务名否则模型无法理解dst_port22与dst_port23Telnet的安全含义差异。清洗脚本以Suricata EVE JSON为例import pandas as pd import numpy as np from datetime import datetime def clean_suricata_log(eve_file): # 读取JSON Lines格式日志 df pd.read_json(eve_file, linesTrue) # 步骤1统一时间戳提取timestamp字段转为datetime64 df[timestamp] pd.to_datetime(df[timestamp], utcTrue) # 步骤2IP泛化区分内外网 def ip_category(ip): if ip.startswith((10., 172.16., 192.168.)): return internal_ipv4 elif ip.startswith((2001:, fe80:)): # IPv6私有前缀 return internal_ipv6 else: return external_ipv4 df[src_ip_cat] df[src_ip].apply(ip_category) df[dst_ip_cat] df[dst_ip].apply(ip_category) # 步骤3端口语义化构建端口映射字典 port_map { 22: ssh, 23: telnet, 25: smtp, 53: dns, 80: http, 443: https, 3306: mysql, 5432: postgresql, 6379: redis } df[src_port_name] df[src_port].map(port_map).fillna(other) df[dst_port_name] df[dst_port].map(port_map).fillna(other) # 步骤4提取关键特征本书第5章Table 5.2定义的12维特征 features { hour_of_day: df[timestamp].dt.hour, day_of_week: df[timestamp].dt.dayofweek, src_ip_cat: df[src_ip_cat], dst_ip_cat: df[dst_ip_cat], src_port_name: df[src_port_name], dst_port_name: df[dst_port_name], proto: df[proto], app_layer_proto: df.get(app_layer_proto, unknown), bytes_toserver: df.get(bytes_toserver, 0), bytes_toclient: df.get(bytes_toclient, 0), pkts_toserver: df.get(pkts_toserver, 0), pkts_toclient: df.get(pkts_toclient, 0) } return pd.DataFrame(features) # 使用示例 clean_df clean_suricata_log(eve.json) print(clean_df.head())参数说明pd.to_datetime(..., utcTrue)强制UTC时区避免夏令时导致的时间跳跃ip_category函数覆盖RFC 1918所有私有地址段比正则表达式更可靠port_map只映射高频端口其余归为other防止类别爆炸one-hot编码维度失控df.get(bytes_toserver, 0)Suricata某些事件类型如alert无流量字段用.get()避免KeyError。3.2 特征工程为什么PCA降维比直接删列更安全面对12维原始特征新手常想“删掉不重要的列”。但本书第5章用真实案例证明盲目删除bytes_toserver会导致DDoS检测率下降40%。正确做法是PCA降维——它不丢弃信息而是重构坐标系。核心逻辑PCA将12维特征投影到k个正交主成分上每个成分是原始特征的线性组合保留前k个成分累计方差贡献率≥95%既压缩维度又最大化保留原始数据的变异信息对于异常检测低维空间中正常流量聚集攻击样本远离中心——比高维稀疏空间更易建模。PCA实现与验证from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler import matplotlib.pyplot as plt # 1. 标准化PCA对量纲敏感 numeric_cols [hour_of_day, day_of_week, bytes_toserver, bytes_toclient, pkts_toserver, pkts_toclient] scaler StandardScaler() X_numeric scaler.fit_transform(clean_df[numeric_cols]) # 2. PCA降维找最优k pca PCA() X_pca pca.fit_transform(X_numeric) # 3. 绘制累计方差图 plt.figure(figsize(8, 4)) plt.plot(np.cumsum(pca.explained_variance_ratio_), markero) plt.xlabel(Number of Components) plt.ylabel(Cumulative Explained Variance Ratio) plt.axhline(y0.95, colorr, linestyle--, label95% threshold) plt.legend() plt.grid(True) plt.show() # 4. 选择k4累计方差95.2% pca_final PCA(n_components4) X_reduced pca_final.fit_transform(X_numeric) # 5. 输出各主成分权重解释性关键 components_df pd.DataFrame( pca_final.components_.T, columns[fPC{i1} for i in range(4)], indexnumeric_cols ) print(PCA Component Weights:) print(components_df.round(3))逻辑说明StandardScaler必须在PCA前执行否则bytes_toserver量级10^6会淹没hour_of_day量级0-23累计方差图横轴是主成分数纵轴是解释的总方差比例——选拐点处k值本书案例中k4即达95.2%远超12维components_df显示每个原始特征对主成分的贡献例如PC1可能主要由bytes_toserver和pkts_toserver驱动代表“上行流量强度”这比单纯删列更有业务意义。3.3 构建异常检测标签半监督学习的真实落地真实网络中99.9%流量是正常的攻击样本极少且标注成本高。本书第5章摒弃“全监督”幻想采用半监督策略正样本正常从历史日志中抽取连续24小时无告警时段的数据无标签样本所有其他数据包含未知攻击模型选择Isolation ForestIF——它不依赖标签通过随机分割孤立异常点。IF训练与阈值校准from sklearn.ensemble import IsolationForest from sklearn.metrics import roc_curve, auc # 训练IF使用PCA降维后的4维特征 if_model IsolationForest( n_estimators100, # 树数量越多越稳定 max_samplesauto, # 自动采样平衡速度与精度 contamination0.01, # 预估异常比例本书建议0.005-0.02 random_state42 ) if_model.fit(X_reduced) # 预测异常分数越负越异常 anomaly_scores if_model.decision_function(X_reduced) # 关键用ROC曲线找最优阈值非固定-0.5 # 假设我们有少量已知攻击样本如渗透测试记录 # 这里用模拟标签演示 y_true np.random.binomial(1, 0.015, len(anomaly_scores)) # 1.5%攻击 fpr, tpr, thresholds roc_curve(y_true, -anomaly_scores) # IF分数越负越异常故取负 roc_auc auc(fpr, tpr) # 找平衡点Youden指数最大 youden_j tpr - fpr optimal_idx np.argmax(youden_j) optimal_threshold thresholds[optimal_idx] print(fOptimal threshold: {optimal_threshold:.3f}) print(fROC AUC: {roc_auc:.3f}) # 应用阈值 y_pred (anomaly_scores optimal_threshold).astype(int)参数说明contamination0.01告诉IF“数据中约1%是异常”影响分割策略——值过大会漏报过小会误报max_samplesauto自动设为min(256, n_samples)避免小数据集过拟合roc_curve必须用真实攻击样本校准阈值本书强调“没有ROC校准的IF就是瞎猜”。3.4 避坑网络日志特征工程的五个血泪经验现象1PCA降维后模型AUC反而下降原因未标准化就PCA或contamination设得过高如0.1导致IF过度分割正常流量。解决强制执行StandardScaler将contamination从0.1降至0.005重新训练并用ROC校准。现象2IsolationForest.predict()返回全0无异常原因contamination设得太低如0.001且数据中实际异常率高于此值IF认为“全是正常”。解决先用if_model.score_samples(X_reduced)查看分数分布若大部分0说明contamination太小调高至0.02再用ROC找阈值。现象3IP泛化后One-Hot编码维度爆炸10万列原因未对IP做哈希分桶直接pd.get_dummies()。解决# 替代方案IP哈希分桶本书第5章推荐 from sklearn.feature_extraction import FeatureHasher hasher FeatureHasher(n_features1000, input_typestring) ip_hash hasher.transform(clean_df[[src_ip_cat, dst_ip_cat]].values)现象4时间特征hour_of_day导致模型周期性误报原因模型学到“凌晨3点必异常”的伪规律实为运维脚本触发。解决添加is_work_hour布尔特征9-18点为True或用sin(hour)、cos(hour)编码周期性避免线性假设。现象5bytes_toserver长尾分布导致PCA被极值主导原因DDoS攻击样本的bytes_toserver达10^9拉偏均值。解决用np.log1p(x)变换log1p防0值或用RobustScaler替代StandardScaler。4. 恶意软件静态分析从PE文件头到K-Means家族聚类4.1 解析PE文件头为什么IMAGE_NT_HEADERS是恶意软件指纹核心Windows恶意软件90%以上为PE格式Portable Executable。本书第4章指出PE头不是元数据而是攻击者留下的“行为签名”。关键字段OptionalHeader.Subsystem正常程序多为IMAGE_SUBSYSTEM_WINDOWS_CUI控制台勒索软件常设为IMAGE_SUBSYSTEM_NATIVE绕过UACOptionalHeader.DllCharacteristics若含IMAGE_DLLCHARACTERISTICS_FORCE_INTEGRITY可能是加壳器如UPX强行设置DataDirectory[IMAGE_DIRECTORY_ENTRY_IMPORT]导入表大小和函数数混淆样本常伪造大量无效导入。PE头解析脚本使用pefileimport pefile import numpy as np def extract_pe_features(pe_path): try: pe pefile.PE(pe_path) features {} # 1. DOS头特征反调试线索 features[dos_stub_size] len(pe.DOS_HEADER.dump()) # DOS stub长度 # 2. NT头特征 nt_headers pe.NT_HEADERS features[machine] nt_headers.FileHeader.Machine features[number_of_sections] nt_headers.FileHeader.NumberOfSections features[time_date_stamp] nt_headers.FileHeader.TimeDateStamp # 3. Optional头特征本书Table 4.3核心 opt pe.OPTIONAL_HEADER features[subsystem] opt.Subsystem features[dll_characteristics] opt.DllCharacteristics features[major_image_version] opt.MajorImageVersion features[minor_image_version] opt.MinorImageVersion features[size_of_code] opt.SizeOfCode features[size_of_initialized_data] opt.SizeOfInitializedData features[size_of_uninitialized_data] opt.SizeOfUninitializedData features[address_of_entry_point] opt.AddressOfEntryPoint # 4. 数据目录特征导入/导出表 features[import_table_size] len(pe.OPTIONAL_HEADER.DATA_DIRECTORY) if hasattr(pe.OPTIONAL_HEADER, DATA_DIRECTORY) else 0 features[export_table_size] len(pe.OPTIONAL_HEADER.DATA_DIRECTORY) if hasattr(pe.OPTIONAL_HEADER, DATA_DIRECTORY) else 0 # 5. 节区特征加壳检测 section_entropy [] for section in pe.sections: section_entropy.append(section.get_entropy()) features[max_section_entropy] max(section_entropy) if section_entropy else 0 features[section_count] len(pe.sections) pe.close() return features except Exception as e: print(fError parsing {pe_path}: {e}) return None # 示例提取单个文件特征 feat extract_pe_features(malware.exe) if feat: print(pd.Series(feat))参数说明section.get_entropy()计算节区熵值加壳样本如UPX熵值常7.0正常程序6.5opt.AddressOfEntryPoint入口点地址混淆样本常指向.text节末尾而非起始是动态分析触发点pe.close()显式关闭文件句柄避免pefile在大量文件循环中内存泄漏。4.2 构建恶意软件特征矩阵从单文件到千样本数据集单个PE文件提取20特征但模型需要千级样本。本书第4章提供数据集构建规范正样本良性Windows系统目录C:\Windows\System32\*.exe 开源软件Notepad、7-Zip负样本恶意VirusTotal公开样本MD5哈希去重 MalwareBazaar特征对齐所有样本必须提取相同字段缺失值填-1非0因0有业务含义。批量特征提取与保存import os import pandas as pd from tqdm import tqdm def build_dataset(folder_path, label): 构建标签化数据集 features_list [] file_list [os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.lower().endswith(.exe)] for file_path in tqdm(file_list, descfProcessing {label} samples): feat extract_pe_features(file_path) if feat: feat[label] label features_list.append(feat) return pd.DataFrame(features_list) # 构建良性数据集假设路径 benign_df build_dataset(/path/to/benign, label0) # 构建恶意数据集 malware_df build_dataset(/path/to/malware, label1) # 合并并保存 dataset pd.concat([benign_df, malware_df], ignore_indexTrue) dataset.to_csv(pe_features_dataset.csv, indexFalse) print(fDataset shape: {dataset.shape}) print(dataset.label.value_counts())逻辑说明tqdm显示进度条避免等待时以为卡死label0/1为二分类但本书第4章后续聚类用label-1无监督此处仅为示例to_csv保存为CSV便于后续scikit-learn直接读取无需数据库。4.3 K-Means聚类恶意软件家族从距离到簇的数学直觉恶意软件作者复用代码形成家族如Emotet、TrickBot。本书第4章用K-Means聚类发现未知家族关键不在算法而在距离度量欧氏距离失效subsystem类别与size_of_code数值量纲不同直接计算距离无意义解决方案先标准化Z-score再用余弦相似度——它只关心特征向量方向忽略模长。K-Means聚类全流程from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler from sklearn.metrics import silhouette_score import numpy as np # 1. 加载数据集 df pd.read_csv(pe_features_dataset.csv) # 2. 分离特征与标签聚类不用label feature_cols [machine, number_of_sections, time_date_stamp, subsystem, dll_characteristics, major_image_version, size_of_code, size_of_initialized_data, address_of_entry_point, max_section_entropy, section_count] X df[feature_cols].copy() # 3. 处理缺失值本书第4章强调PE头字段可能缺失 X X.fillna(-1) # -1表示该字段不存在 # 4. 标准化K-Means必需 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 5. 寻找最优K肘部法则 轮廓系数 inertias [] sil_scores [] K_range range(2, 11) for k in K_range: kmeans KMeans(n_clustersk, random_state42, n_init10) kmeans.fit(X_scaled) inertias.append(kmeans.inertia_) sil_scores.append(silhouette_score(X_scaled, kmeans.labels_)) # 绘制肘部图 plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(K_range, inertias, bo-) plt.xlabel(K) plt.ylabel(Inertia) plt.title(Elbow Method) plt.subplot(1, 2, 2) plt.plot(K_range, sil_scores, ro-) plt.xlabel(K) plt.ylabel(Silhouette Score) plt.title(Silhouette Analysis) plt.show() # 选K5本书案例最优值 optimal_k 5 kmeans_final KMeans(n_clustersoptimal_k, random_state42, n_init10) clusters kmeans_final.fit_predict(X_scaled) # 添加聚类结果 df[cluster] clusters print(df.groupby(cluster)[label].value_counts())参数说明n_init10K-Means随机初始化10次选最佳结果避免局部最优silhouette_score轮廓系数越接近1越好本书案例中K5时得0.62K6时降为0.58df.groupby(cluster)[label].value_counts()验证聚类质量——理想情况是每个簇内label高度一致如簇0全为恶意簇1全为良性。4.4 避坑PE静态分析与聚类的四大翻车现场现象1pefile.PE()报错pefile.PEFormatError: Invalid NT Headers signature原因文件非标准PE格式如加壳后损坏、或为.NET程序需用dnSpy解析。解决添加异常捕获跳过损坏文件对.NET程序改用dnfile库pip install dnfile。现象2K-Means聚类结果中同一簇内良性/恶意样本混杂原因特征选择不当如加入time_date_stamp它随编译时间变化与恶意行为无关。解决移除时间相关字段用SelectKBestchi2筛选与label相关性高的特征。现象3轮廓系数始终0.2聚类无意义原因数据本身无自然簇如样本太同质或特征未标准化。解决强制执行StandardScaler改用DBSCAN密度聚类它不预设K值。现象4max_section_entropy计算为nan原因节区数据为空如资源节get_entropy()返回nan。解决# 修改extract_pe_features中节区熵计算 section_entropy [] for section in pe.sections: try: ent section.get_entropy() if not np.isnan(ent): section_entropy.append(ent) except: pass features[max_section_entropy] max(section_entropy) if section_entropy else 05. 钓鱼邮件检测实战从文本清洗到逻辑回归调参5.1 邮件文本的三重清洗HTML、URL、词干还原钓鱼邮件含大量噪声HTML标签、短链接、拼写错误。本书第3章给出工业级清洗流水线HTML剥离用BeautifulSoup而非正则避免script标签误删URL标准化将bit.ly/abc123、tinyurl.com/xyz统一为url_shortened防止模型学URL字符串而非语义词干还原用nltk.stem.PorterStemmer而非Lemmatizer因钓鱼邮件多用动词原形如“click here”Porter更鲁棒。邮件清洗函数from bs4 import BeautifulSoup import re import nltk from nltk.stem import PorterStemmer from nltk.corpus import stopwords # 下载必要资源首次运行 nltk.download(stopwords) nltk.download(punkt) def clean_email_text(email_html): # 1. 剥离HTML soup BeautifulSoup(email_html, html.parser) text soup.get_text() # 2. 清洗URL本书第3章正则 url_pattern rhttps p a hrefhttps://download.csdn.net/download/5b6n7m8/91799884 stylecolor:#ec7500;font-size:14px; 本文还有配套的精品资源点击获取 /a img altmenu-r.4af5f7ec.gif srchttps://csdnimg.cn/release/wenkucmsfe/public/img/menu-r.4af5f7ec.gif stylewidth:16px;margin-left:4px;vertical-align:text-bottom;cursor:text; /p