上篇聊了PyTorch入门。今天说一个很实用但面试经常被忽略的话题——Python脚本自动化。先说个场景。你做了一个机器人抓取实验跑了三天生成了200多个数据文件散落在不同的目录里。有的是CSV有的是JSON有的还是ROS2 bag格式。现在你需要把这些数据汇总、清洗、统计然后出一份报告。手动一个个打开复制粘贴那得干到什么时候。写个Python脚本十分钟搞定而且下次实验还能复用。这就是自动化的价值。批量文件处理os、pathlib和globPython处理文件路径有两个模块传统的os.path和更现代的pathlib。推荐用pathlibAPI更友好。from pathlib import Path data_dir Path(/home/user/experiment_data) # 找出所有CSV文件 csv_files list(data_dir.glob(**/*.csv)) print(f找到 {len(csv_files)} 个CSV文件) # 批量读取并合并 import pandas as pd all_data [] for f in csv_files: df pd.read_csv(f) df[source_file] f.name # 记录来源 all_data.append(df) combined pd.concat(all_data, ignore_indexTrue) combined.to_csv(data_dir / combined.csv, indexFalse)glob(**/*.csv)会递归搜索所有子目录。Path对象用/运算符拼接路径比os.path.join()清爽很多。还有一种常见需求按文件名中的日期或编号排序处理。# 文件名格式experiment_20240315_001.csv files sorted(data_dir.glob(experiment_*.csv)) for f in files: date_str f.stem.split(_)[1] # 提取日期部分 print(f处理 {f.name}, 日期: {date_str})数据清洗处理真实世界中的脏数据实验数据几乎不可能是干净的。常见问题包括缺失值、异常值、格式不一致、重复记录。用pandas处理这些问题import pandas as pd df pd.read_csv(raw_data.csv) # 处理缺失值数值列用中位数填充关键列缺失则删除行 df[cycle_time] df[cycle_time].fillna(df[cycle_time].median()) df df.dropna(subset[success, object]) # 用IQR方法剔除异常值 Q1, Q3 df[cycle_time].quantile([0.25, 0.75]) IQR Q3 - Q1 mask (df[cycle_time] Q1 - 1.5*IQR) (df[cycle_time] Q3 1.5*IQR) df_clean df[mask] # 格式统一和去重 df_clean[object] df_clean[object].str.strip().str.lower() df_clean df_clean.drop_duplicates()这里有个细节异常值处理用中位数而不是均值填充。因为均值对极端值敏感——如果大部分实验耗时2秒但有一次卡住耗时100秒均值会被严重拉高中位数则不受影响。正则表达式处理非结构化文本有时候数据不是规整的CSV而是日志文件里的文本。比如ROS2的日志[INFO] [1678886400.123] [grasp_node]: Grasp completed, success: true, time: 2.33s [WARN] [1678886405.789] [grasp_node]: Grasp failed, object: cylinder, reason: slip要从这些日志里提取信息需要正则表达式import re log_pattern re.compile( r\[(?Plevel\w)\].*?Grasp\s(?Pevent\w).*?object:\s*(?Pobject\w) ) results [] with open(grasp_log.txt) as f: for line in f: match log_pattern.search(line) if match: results.append(match.groupdict())正则看起来复杂但掌握几个常用符号就够了\w匹配单词字符(?Pname...)是命名捕获组提取出来的数据直接变成字典方便后续转成DataFrame。自动化脚本的最佳实践写自动化脚本有几个好习惯值得养成。第一用argparse处理命令行参数让你的脚本像命令行工具一样使用import argparse parser argparse.ArgumentParser(description批量处理实验数据) parser.add_argument(--input, -i, requiredTrue, help输入目录) parser.add_argument(--output, -o, defaultresult.csv, help输出文件) args parser.parse_args()这样就能python process.py -i /data/20240315 -o report.csv。第二加日志而不是print。日志有时间戳和级别比print好用得多还能控制输出级别。第三异常处理要具体for f in files: try: df pd.read_csv(f) process(df) except pd.errors.EmptyDataError: logging.warning(f文件 {f.name} 为空) except KeyError as e: logging.error(f文件 {f.name} 缺少列: {e})不要用except Exception一把梭——那样你连哪里出错了都不知道。面试中怎么聊自动化面试官问自动化想看的不是你会多少Python库而是你有没有工程思维。一个好的回答先说你遇到了什么问题手动处理太慢、容易出错然后说你写了什么脚本解决它最后给出效果——原来需要两小时的工作现在十分钟搞定而且不会再有复制粘贴的错误。如果你还能提到脚本的可复用性——我加了命令行参数其他同事也能用——或者健壮性——我加了异常处理和日志即使某个文件有问题也不会中断整个流程——那就是加分项。自动化脚本的实战案例分享一个实际项目中的自动化案例写了一个Python脚本每天早上自动从服务器拉取前一天的测试数据用pandas分析各项指标生成HTML报告然后通过邮件发送给团队。整个脚本不到200行但省去了大量手工操作。这种脚本在面试中是很好的加分项因为它说明你不只是写算法还能把工程效率考虑进去。还有一个小技巧在脚本中加入日志记录用Python的logging模块代替print这样出问题时可以回溯执行过程。给正在准备面试的你建议你整理一个自己的工具脚本库。批量重命名文件的、合并CSV的、解析日志的、生成报告的——这些都是实际工作中反复用到的。写一次以后直接复用。面试的时候能拿出一个你写过的自动化脚本讲清楚它解决了什么问题、怎么设计的、有什么考虑——比背十个Python技巧都有说服力。下篇聊Jupyter Notebook——算法调试和实验记录的最佳实践。如果这篇文章对你有帮助欢迎点赞、在看、转发三连。 你的支持是我持续更新的最大动力。「机器人软件开发面试·从入门到精通」连载系列上一篇第77篇 Python在深度学习中的应用——PyTorch快速入门下一篇预告第79篇 Jupyter Notebook——算法调试和实验记录的最佳实践有任何问题欢迎评论区留言我会尽量回复。