一、为什么你的爬虫总是半夜崩溃？很多爬虫开发者都经历过这样的至暗时刻：凌晨3点，目标网站改版，XPath失效，爬虫疯狂抛出AttributeError，但你还在睡梦中，直到早上才发现数据表一片空白。爬虫跑了一周，突然被封IP，日志里只有一堆ConnectionError，你完全不知道是从哪个时刻开始出问题的。老板问：“昨天爬了多少条？成功率多少？”你只能打开Excel手动数日志行数。问题的根源：绝大多数爬虫项目只用了print()或者最简单的logging.basicConfig()，把不同严重级别的信息混在一起，没有结构化，没有统计，更没有告警。生产级爬虫的日志系统必须做到：分级清晰– DEBUG用于开发调试，INFO记录关键业务节点，WARNING提醒潜在风险，ERROR记录致命错误。结构化– 每条日志都是键值对（JSON格式），便于接入ELK、Splunk或云原生日志服务。可观测性– 实时统计请求量、成功率、耗时分布，通过Dashboard或告警通知暴露。主动告警– 当错误率突增、耗时过长或请求中断时，第一时间通过钉钉、邮件、飞书等渠道通知。本文将带你从零构建一套完整的爬虫日志与监控体系，全程使用Python 3.11+、loguru、prometheus-client、fastapi（用于暴露指标）以及httpx异步HTTP客户端，并给出可直接运行的代码。目录一、为什么你的爬虫总是半夜崩溃？二、日志分级：别把所有鸡蛋放在一个篮子里2.1 Python logging模块的局限与loguru的崛起2.2 定义日志分级标准（结合爬虫场景）2.3 使用loguru实现结构化日志（键值对形式）三、监控中间件：实时统计每分钟的请求数、成功数、失败数、平均耗时3.1 设计指标数据结构3.2 使用prometheus-client定义指标3.3 实现请求统计中间件（异步爬虫版）3.4 窗口统计：每分钟重置的简易版（如果不用Prometheus的rate）四、告警引擎：当指标越过红线，让通知飞起来4.1 定义告警规则4.2 集成钉钉机器人告警4.3 告警触发器：结合窗口统计与日志4.4 基于日志的告警：使用loguru的sink五、整合到爬虫主流程：一个完整的异步爬虫示例5.1 项目结构5.2 配置管理（使用pydantic-settings）5.3 主爬虫逻辑5.4 暴露Prometheus指标（单独启动一个线程）六、进阶：日志采样与Trace ID串联七、部署与运维建议八、实战运行与效果展示九、常见问题与解决方案Q1：日志量太大，IO成为瓶颈？Q2：Prometheus指标不是实时的？