1. 移动端数据抓取的核心原理移动端数据抓取的本质是拦截和分析App与服务器之间的网络通信。与网页爬虫不同App的数据交互往往更加隐蔽不会直接暴露在浏览器开发者工具中。这里有个生活化的比喻如果把网站比作明信片内容直接可见那么App就像是密封的信件需要拆封才能看到内容。我刚开始接触App抓包时踩过不少坑后来发现关键在于理解三个核心环节通信拦截层通过代理工具如Reqable建立中间人位置环境模拟层使用安卓模拟器或真机作为运行载体数据解析层将抓取的原始数据转化为结构化信息最近帮朋友抓取某电商App价格数据时发现新版App采用了证书绑定技术。这时候就需要在模拟器里配置Xposed框架配合JustTrustMe模块不过这是后话了。我们先从最基础的环节开始。2. 搭建专业级抓包环境2.1 Reqable的安装与高阶配置Reqable相比Charles和Fiddler有个巨大优势——支持WebSocket和gRPC协议解析。安装过程虽然简单但有几个隐藏技巧官网下载时选择带调试符号的版本Debug Symbols方便后期逆向分析安装完成后立即备份默认配置菜单栏 File Export Settings修改监听端口时避开8000、8888等常见端口减少冲突概率这是我的常用配置模板# Reqable配置文件示例JSON格式 { proxy: { http_port: 5863, https_port: 5864, allow_remote: true, throttling: { enable: false, upload: 1024, download: 1024 } }, filters: { target_apps: [com.example.targetapp] } }2.2 夜神模拟器的深度调优夜神模拟器默认配置会漏掉30%左右的HTTPS请求需要做这些调整在模拟器设置中将性能模式改为DirectX关闭GPU渲染选项防止某些App检测虚拟环境修改build.prop文件中的设备指纹信息安装证书时有个小技巧先安装系统级证书再安装用户证书。遇到证书警告时修改系统日期到证书有效期范围内即可绕过。3. 实战抓包技巧与陷阱规避3.1 精准过滤请求的5种方法新手最头疼的就是海量无关请求干扰这几个过滤策略亲测有效域名聚焦模式只监控api.target.com等关键域名协议特征过滤屏蔽图片、字体等静态资源大小过滤法排除100B的探测请求时间窗口过滤仅捕获触发操作后3秒内的请求内容特征过滤匹配JSON中的特定字段名# Reqable高级过滤规则示例 from reqable import * def onRequest(context, request): if sign in request.url: return request if request.method POST and api/v3 in request.url: return request return None3.2 突破反爬机制的实战方案去年某电商App升级后我们团队花了三周破解其新型加密。总结出这套应对策略证书锁定使用VirtualXposedTrustMe组合协议混淆Hook底层网络库的SSL_connect方法参数加密逆向分析so文件中的getSignNative方法流量伪装重放真实设备指纹和网络环境特征4. 从抓包到自动化采集4.1 接口逆向工程实战以某图书App搜索接口为例通过对比20次请求发现关键参数规律_t参数是当前时间戳sign由MD5(secret_key sorted_params)生成device_id源自Android ID的Base64变种逆向出来的Python请求模板import hashlib import time def generate_sign(params): secret b8f8b0388dd8842d9 sorted_str .join(f{k}{v} for k,v in sorted(params.items())) return hashlib.md5(secret sorted_str.encode()).hexdigest() params { keyword: Python, page: 1, size: 20, _t: int(time.time()) } params[sign] generate_sign(params)4.2 自动化采集系统架构完整的采集系统应该包含这些模块代理调度中心管理多个Reqable实例设备指纹库维护不同设备的UA、分辨率等参数异常检测模块识别封禁征兆自动切换策略数据清洗管道处理加密字段和脏数据class Crawler: def __init__(self): self.session requests.Session() self.session.proxies {http: http://localhost:5863} def handle_retry(self, response): if response.status_code 403: self.rotate_device_fingerprint() return True return False def crawl(self, url): for _ in range(3): try: resp self.session.get(url) if not self.handle_retry(resp): return resp.json() except Exception as e: log_error(e) raise CrawlerException(Max retries exceeded)5. 电商App数据采集完整案例以某跨境电商App为例演示完整工作流环境准备阶段配置夜神模拟器Android 7.1镜像安装目标App 3.2.1版本新版有加固设置Reqable过滤规则api\.global\.com/v\d/product关键接口分析商品搜索接口GET /v3/search?q...详情页接口POST /v5/item/detail价格库存接口WebSocket /realtime/stock参数破解过程发现价格接口使用了自定义的X-Sign算法def generate_x_sign(path, body): salt d41d8cd98f00b204 timestamp str(int(time.time() * 1000)) raw f{path}|{body}|{timestamp}|{salt} return hashlib.sha256(raw.encode()).hexdigest(), timestamp完整采集脚本import json from websockets.sync.client import connect def crawl_real_time_price(item_id): with connect(wss://api.global.com/realtime/stock) as ws: auth {token: get_auth_token()} ws.send(json.dumps(auth)) subscribe_msg { action: subscribe, items: [item_id], x_sign: generate_x_sign(/realtime/stock, ) } ws.send(json.dumps(subscribe_msg)) while True: data json.loads(ws.recv()) process_price_data(data)在最近一次数据采集中这个方案成功突破了App的流量异常检测稳定运行了47天采集了超过300万条商品数据。关键点在于模拟了真实用户的操作间隔并在每次请求后随机休眠1-3秒。