做了五年工业数据采集，见过太多团队在爬虫合规上踩坑：有的觉得robots就是个摆设，硬爬禁爬页面，最后收到律师函赔了十几万；有的觉得公开数据随便爬，批量抓用户信息，结果被认定侵犯公民个人信息；更有甚者破解接口签名批量拉数据，直接触发刑事立案。很多技术团队做爬虫的时候，满脑子都是怎么突破反爬、怎么提效率、怎么降成本，完全忽略了法律边界。等收到传票了才慌神，觉得“大家都在爬，怎么就抓我”。其实不是没抓，是风险没积累到阈值。今天就从robots协议、个人信息、知识产权、反不正当竞争、刑事风险五个维度，结合司法判例和现行法律，把企业级爬虫的合规边界讲透，最后给一套可落地的合规方案。技术做得再好，合规踩了线，一切都是零。一、Robots协议：不是法律，但也不是摆设很多人对robots的理解走两个极端：要么觉得它是法律，写了Disallow就绝对不能碰；要么觉得就是个君子协定，无视也没什么后果。其实都不对。1.1 法律定位：行业惯例，而非强制规范Robots协议本质上是网站所有者单方发布的技术规范，属于互联网行业公认的商业惯例，不是法律，也不构成合同，没有强制执行力。北京市第一中级人民法院在百度诉360的Robots协议案中就明确：滥用Robots协议设置竞争壁垒无效，它本身不具备法律约束力，不能作为权利主张的直接依据。但这不等于可以随便违反。在司法实践中，是否遵守robots协议，是判断爬取行为是否具有正当性的重要参考：民事案件中，故意违反robots的禁爬规则，会被认定为主观上存在过错，更容易被认定构成侵权或不正当竞争。