当前位置: 首页> 健康> 知识 > 广州开发区东区_上海专业制作网站_百度联盟是什么_百度网址大全免费下载

广州开发区东区_上海专业制作网站_百度联盟是什么_百度网址大全免费下载

时间:2025/7/11 10:59:42来源:https://blog.csdn.net/wangsenling/article/details/146925883 浏览次数:0次
广州开发区东区_上海专业制作网站_百度联盟是什么_百度网址大全免费下载

之前讲解 Chrome 一大强势技术 override 时,给的案例貌似没有给大家留下多深的印象

浏览器本地替换(local overrides)快速定位前端样式问题的案例详解(也是hook js的手段)_浏览器的 overrides 替换功能-CSDN博客

其实这个超厉害的,任何一项小技术在 buffer 叠加的基础下才能发挥威力,若单单看到这一项技术,就局限了。

注意

实际测试时,最新版本的 Chrome 的 override 已经不好用了,原因未知,用的 360 极速浏览器搞得,不过神奇的时,Chrome 开启 override 公用极速浏览器的文件夹时,竟然也可以,后经排查,应该是谷歌浏览器的自动格式化问题导致,细节不深究。

结合 xhr 的监听

Chrome 浏览器是能监听到 XHR 请求的,一般我们逆向的突破点都在 XHR 这里,因为所谓的逆向就是为了捕捉传输过程中的数据,因为 Chrome 浏览器就帮我们解决了这个问题。

在 network 中监听 fetch/xhr 请求,发现每次点击页码时都是调用这个接口,于是我们以这个接口特征进行 xhr 断点

设置 xhr 断点

再次点击页码时,会停在一个位置

xhr 返回的数据是加密的

  1. 一般企业都会将信息进行加密,或者混淆,以避免这么简单就被你获取数据了,既然数据被加密,自然有解密函数,只要你耐心调试一下,往下游去找,定能找到被解密的数据结构,找到后,再对所有 js 进行回搜,就能快速定位解密函数,例如这里解密后,我们会发现数据结构中有个 nodes,且这个 nodes 是另外一个大对象里面的 key,那无非有两种赋值方式['nodes'] 或者 .nodes,我们搜搜后者,发现还在这个 js 文件中,那就没跑了

我们回到这个 js,再进行搜索,可以精确定位到这个数据的解析来源,把整个代码,让 grok 帮我们重新写一下,让我们理解得更彻底

grok 重写后的代码,完美重写的代码,一目了然,核心点就在 o(l),经过 grok 重写后,我们知道 o 就是 resolve,l 就是返回数据 parsedData

async function le(t, n) {// 构造 URLconst e = new URL(t);e.pathname = be(t.pathname);if (t.pathname.endsWith("/")) {e.searchParams.append(Be, "1");}e.searchParams.append(He, n.map(o => (o ? "1" : "0")).join(""));// 发起 HTTP 请求const a = await Ht(e.href);if (!a.ok) {const contentType = a.headers.get("content-type");let errorMessage;if (contentType?.includes("application/json")) {errorMessage = await a.json();} else if (a.status === 404) {errorMessage = "Not Found";} else if (a.status === 500) {errorMessage = "Internal Error";}throw new st(a.status, errorMessage);}// 处理流式数据return new Promise((resolve, reject) => {const i = new Map();const s = a.body.getReader();const c = new TextDecoder();// 自定义函数,用于处理数据转换function f(g) {return Me(g, {Promise: d =>new Promise((fulfil, reject) => {i.set(d, { fulfil, reject });}),});}let buffer = "";async function processStream() {while (true) {const { done, value } = await s.read();if (done && !buffer) {break;}buffer += value ? c.decode(value, { stream: true }) : "\n";while (true) {const lineEndIndex = buffer.indexOf("\n");if (lineEndIndex === -1) {break;}const line = buffer.slice(0, lineEndIndex);buffer = buffer.slice(lineEndIndex + 1);const parsedData = JSON.parse(line);if (parsedData.type === "redirect") {return resolve(parsedData); // 直接解析并返回} else if (parsedData.type === "data") {if (parsedData.nodes) {parsedData.nodes.forEach(node => {if (node?.type === "data") {node.uses = fe(node.uses);node.data = f(node.data);}});}resolve(parsedData); // 解析第一个 data 数据return; // 避免多次 resolve} else if (parsedData.type === "chunk") {const { id, data, error } = parsedData;const promiseHandler = i.get(id);i.delete(id);if (error) {promiseHandler.reject(f(error));} else {promiseHandler.fulfil(f(data));}}}}// 如果流结束且没有返回任何数据,可以选择 reject 或 resolve 一个默认值reject(new Error("Stream ended without redirect or data"));}processStream().catch(reject);});
}

把这个 js 给 override 了,怎么 override,参考以前我写得链接吧,这里不赘述了

然后在 override 的文件里追加一个 fetch 代码,发到我们本地代码去

让 Grok 用 flask 写一个本地 http 协议的服务承接内容,并写到 excel 中去

  1. 注意 http 服务要允许跨域,因为发过来的 origin 是其他域名,不允许就会被拒绝

  2. 如果网页本身采用 CSP 的方式阻止浏览器发出跨域请求,不过 localhost 一般不会,若被拒绝,可以下载一个 CSP 扩展开启后就行了,这个可以重写 xhr 的 response headers

from flask import Flask, request, jsonify
from flask_cors import CORS
import openpyxl
from openpyxl import load_workbook
import osapp = Flask(__name__)# 启用 CORS,允许所有来源访问
CORS(app)# Excel 文件路径
EXCEL_FILE = 'WhatsApp.xlsx'# 常驻缓存:存储已经写入的 id
ID_CACHE = set()# 检查 Excel 文件是否存在,如果不存在则创建并添加表头
# 如果存在,则加载现有数据到缓存
if not os.path.exists(EXCEL_FILE):wb = openpyxl.Workbook()ws = wb.activews.title = "Data"headers = ["id", "name", "version", "description", "userCount", "lastUpdate", "email", "author", "ratingValue","ratingCount", "logo", "creationDate"]ws.append(headers)wb.save(EXCEL_FILE)
else:# 加载 Excel 文件中的 id 到缓存try:wb = load_workbook(EXCEL_FILE)ws = wb["Data"]for row in ws.iter_rows(min_row=2, values_only=True):  # 从第二行开始(跳过表头)if row[0]:  # 确保 id 不为空ID_CACHE.add(row[0])print(f"Loaded {len(ID_CACHE)} IDs into cache from {EXCEL_FILE}")except Exception as e:print(f"Error loading IDs from Excel: {e}")# 定义一个 POST 路由来接收 JSON 数据
@app.route('/extract', methods=['POST'])
def extract_fields():try:# 获取请求中的 JSON 数据data = request.get_json()# 如果数据不是列表,直接转换为列表以统一处理if not isinstance(data, list):data = [data]# 提取指定字段,并检查缓存extracted_data = []new_data_to_save = []  # 存储需要写入 Excel 的新数据for item in data:item_id = item.get("id")if item_id in ID_CACHE:# 如果 id 已存在,跳过写入,但仍返回该数据extracted_item = {"id": item_id,"name": item.get("name"),"version": item.get("version"),"description": item.get("description"),"userCount": item.get("userCount"),"lastUpdate": item.get("lastUpdate"),"email": item.get("email"),"author": item.get("author"),"ratingValue": item.get("ratingValue"),"ratingCount": item.get("ratingCount"),"logo": item.get("logo"),"creationDate": item.get("creationDate")}extracted_data.append(extracted_item)continue# 如果 id 不存在,添加到缓存并准备写入 ExcelID_CACHE.add(item_id)extracted_item = {"id": item_id,"name": item.get("name"),"version": item.get("version"),"description": item.get("description"),"userCount": item.get("userCount"),"lastUpdate": item.get("lastUpdate"),"email": item.get("email"),"author": item.get("author"),"ratingValue": item.get("ratingValue"),"ratingCount": item.get("ratingCount"),"logo": item.get("logo"),"creationDate": item.get("creationDate")}extracted_data.append(extracted_item)new_data_to_save.append(extracted_item)# 将新数据保存到 Excelif new_data_to_save:  # 只有当有新数据时才写入 Excelsave_to_excel(new_data_to_save)# 返回提取后的数据(包括已存在和新增的数据)return jsonify(extracted_data), 200except Exception as e:return jsonify({"error": str(e)}), 400# 函数:将数据保存到 Excel
def save_to_excel(data):wb = load_workbook(EXCEL_FILE)ws = wb["Data"]for item in data:row = [item["id"],item["name"],item["version"],item["description"],item["userCount"],item["lastUpdate"],item["email"],item["author"],item["ratingValue"],item["ratingCount"],item["logo"],item["creationDate"]]ws.append(row)wb.save(EXCEL_FILE)# 启动服务
if __name__ == '__main__':app.run(host='0.0.0.0', port=5000, debug=False)

CSP 谷歌扩展

这玩意是啥?不懂就自行谷歌学习一下吧,给浏览器用的东西

跨域搞定后,数据就能发送过去了

network 记得勾选预留日志和关闭缓存,否则有些东西看不到,完美处理

后续

你想全自动化采集?那就自学个谷歌插件吧,或者用 python 的 puppeteer 来进行替换处理,所以的加解密,只要是网页端能被你眼睛看到的,基本都可以采用以上方式解决。

关键字:广州开发区东区_上海专业制作网站_百度联盟是什么_百度网址大全免费下载

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

责任编辑: