━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━【龍魂系统 · 摘要爬虫与访问分流显化协议 v1.0】Summary-Crawler Traffic-Split Transparency ProtocolP0级别 | 永久锁定 | 不可修改 | 不可绕过━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━DNA追溯码: #龍芯⚡️2026-07-21-SUMMARY-CRAWLER-SPLIT-V1.0-P0源起锚点: 创建者口述指令2026-07-21——“爬虫只能抓摘要全文人工点链接才看人工阅览多少、爬虫爬了多少分开显化生态清爽服务器压力降下来”上游协议: 记忆外脑总协议v1.0算法审计协议v1.0隐私接入规则v2.0GPG指纹: A2D0092CEE2E5BA87035600924C3704A8CC26D5F确认码: #CONFIRM9622-ONLY-ONCELK9X-772Z创建者: 诸葛鑫UID9622生效时间: 2026-07-21锁定级别: P0不可被任何规则覆盖三色审计: 安全 审查 阻断 全链路强制开源协议: CC BY-NC-SA 4.0君子协议来源链不可切断━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━【版本历史】版本日期变更摘要v1.02026-07-21初版摘要爬虫人机分流显化压力模型礼貌调度━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第一章 要点提取与审查摘要口述指令 → 协议━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━1.1 指令核心要点提取五项原意一项不丢#指令原意协议化落点K1爬虫只能抓取摘要第四章4.1抓取边界第七章摘要规范K2全文要靠链接人工去点才能看到第五章四层架构全文层永远人工触发K3能爬但不能爬到全部第四章4.2令牌桶配额增量去重只取所需K4记录数据人工阅览多少、爬虫爬了多少分开显化第六章人机分流显化看板核心章K5生态清爽服务器压力降下来第四章4.3压力节省模型数学证明省多少1.2 结构性补全清单未提及但逻辑必需本版自动补齐编号缺失区块不补的后果落点GAP-01礼貌调度与退避爬虫被打死/被封IP还给别人添堵第四章4.4GAP-02摘要质量度量摘要烂人人点全文白设计4.5 σ保留度GAP-03robots与版权合规乱爬违法给龍魂招黑第七章GAP-04爬虫身份诚实伪装浏览器欺骗违背体系诚实铁律第三章第2条GAP-05人机识别方法分流统计怎么分拍脑袋分不准4.6 BotScoreGAP-06增量更新重复全量抓浪费双方带宽4.7 时间优先索引GAP-07反滥爬对等义务自己爬别人也得让别人爬得明白第七章7.4GAP-08测试向量设计无法自证第九章━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第二章 术语与定义━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━术语定义备注摘要层爬虫可达的信息层标题/摘要/元数据/来源链接机器自由流通全文层完整正文仅人工点击链接后获取人才能进摘要卡爬虫抓回的标准存储单元对接外脑压缩卡格式含simhash指纹来源DNA人机分流按访问主体人/爬虫分开统计与展示的机制K4核心BotScore访问者是人还是爬虫的判定评分4.6令牌桶限速算法按速率发令牌没令牌不准发请求4.2压力节省率 η分流架构相对全量抓取节省的源站流量比例4.3诚实UA爬虫自报家门LonghunBot不伪装浏览器第2条天条━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第三章 核心原则天条不可违背━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第1条摘要开放全文人工K1/K2焊点爬虫的世界只有摘要层全文层只有一道门——人工点击。机器跑腿人做决定。这不只是省压力这是分工的伦理。第2条诚实爬虫GAP-04焊点UA自报家门LonghunBot/1.0 (联系页)不伪装浏览器、不伪造人类行为。遵守robots.txt被禁止就停——我们是做审计的不是做贼的。第3条只取所需K3焊点·数据最小化只抓清单内站点、只抓摘要字段、增量更新不重复抓4.7。爬得多不是本事爬得准才是。第4条分流显化K4焊点人工多少、爬虫多少分开记、分开晒、可复核。流量透明了生态自然清爽——黑箱流量才是服务器压力的最大来源。第5条不扰民K5焊点对源站限速退避增量给别人服务器的压力压到数学下界。对用户摘要不收费、不带追踪、不收集任何个人信息对接隐私规则v2.0。━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第四章 数学模型每一条设计都有公式撑腰━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━4.1 抓取边界K1的形式化定义信息全集 Ω 摘要层 S ∪ 全文层 FS ∩ F ∅。爬虫可达域Crawl(bot) ⊆ S恒有 Crawl(bot) ∩ F ∅。全文触发函数F_seen(u) 1 当且仅当 u ∈ 人类 ∧ 人工点击链接。摘要层字段摘要卡 Schema{标题, 摘要(≤300字), 来源URL, 发布时间, simhash指纹, 来源DNA, 抓取时间}全文层字段{正文, 图, 表, 附件} —— 爬虫永不请求不存在它的请求模板里。4.2 令牌桶限速K3不能爬到全部的硬约束每域名一个桶容量 b 3填充速率 r 1 token / 2s。发请求前取走1个令牌无令牌则等待。t时刻可用令牌T(t) min(b, T(t₀) r·(t − t₀))效果对单域名稳态压力 ≤ 0.5 req/s 43,200 req/天 上界实际运行再乘礼貌系数 0.2 → ≤ 8,640 req/天约为正常人类编辑浏览量的量级。全局并发 ≤ 4且同一时刻同一域名只允许 1 个在途请求。4.3 压力节省模型K5的数学证明到底省多少设N 总信息需求次数α 摘要满足率看完摘要就够了的占比S_f 全文平均体积含图≈ 500 KBS_s 摘要卡平均体积 ≈ 2 KB。传统全量抓架构流量Q₀ N · S_f本协议架构流量Q₁ N·S_s爬虫抓摘要 N·(1−α)·S_f人工点全文压力节省率η 1 − Q₁/Q₀ 1 − [S_s/S_f (1−α)] α − S_s/S_f代入典型值 α 0.70S_s/S_f 2/500 0.004η 0.70 − 0.004 0.696 ≈ 70%数值例N 10,000 次/天Q₀ 10,000 × 500 KB 5.0 GB/天Q₁ 10,000 × 2 KB 3,000 × 500 KB 0.02 GB 1.5 GB 1.52 GB/天源站流量 5.0 GB → 1.52 GB每天省 3.48 GBη ≈ 69.6%。关键洞察η 随 α 线性增长——摘要写得越好α 越高源站越轻松。所以 4.5 的摘要质量不是锦上添花是 K5 的发动机。4.4 礼貌退避GAP-01出错时的自我约束对同一域名连续第 k 次错误5xx / 超时 / 429后退避等待T_backoff(k) T₀ · 2^kT₀ 2sk ≤ 5 → 最长 64s连续错误 ≥ 5 次该域名熔断停爬 24h记入审计日志 。robots.txt 变更收紧立即按新规则执行已抓数据不删除但停止更新史记铁律。4.5 摘要质量度量GAP-02α 的守门员摘要保留度 σ 摘要覆盖原文核心锚点数 / 原文核心锚点总数锚点提取复用《记忆外脑总协议》的锚点识别器。硬阈值σ ≥ 0.85 才准入索引库0.70 ≤ σ 0.85 标 待人工改写σ 0.70 拒绝入库 烂摘要不如只留标题链接。相关性复检simhash(摘要) 与 simhash(原文首尾段) 汉明距离 ≤ 20/64。4.6 BotScore 人机识别GAP-05分流统计怎么分对每个访问者计算机器人评分0铁定人1铁定机器BotScore Σ wᵢ · fᵢ因子 fᵢ权重 wᵢ判据UA自报爬虫0.40UA含 bot/spider/crawler → f1诚实者直接认领请求节奏0.20间隔方差 0.1s²机器人才这么稳→ f1昼夜模式0.15连续24h无睡眠窗口 → f1资源请求比0.15只抓HTML不碰CSS/图 → f1交互熵0.10无滚动/无悬停/点击坐标网格化 → f1判定BotScore ≥ 0.6 → 计入爬虫账≤ 0.3 → 计入人工账中间带 标记人工复核宁可漏判不可冤枉真人——对接隐私规则v2.0。诚实声明LonghunBot 自己永远 UA 自报直接走 0.40 因子认领身份。4.7 增量更新GAP-06不重复抓的数学每摘要卡记录 ETag / Last-Modified / simhash 三件套。复检时先发 HEAD 请求≈ 0.3 KB仅当 ETag 变化才 GET。重复内容判定汉明(simhash_new, simhash_old) ≤ 3 → 同一篇跳过。复检周期按更新频率自适应P_next clamp(观测到变更的平均间隔 × 1.5, 1h, 30天)效果稳态下重复流量占比 → 0HEAD 探测成本仅为 GET 的 0.06%。━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第五章 系统架构四层流水线全文层只有人工门━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┌─────────────────────────────────────────────┐│ L1 调度层域名清单·令牌桶·退避熔断·增量计划 │├─────────────────────────────────────────────┤│ L2 抓取层诚实UA → robots检查 → 只GET摘要区 │├─────────────────────────────────────────────┤│ L3 摘要层锚点提取 → σ质检 → simhash指纹 │├─────────────────────────────────────────────┤│ L4 入库层摘要卡落库 → 人机分账 → 显化看板 │└─────────────────────────────────────────────┘全文层 ∥ 不在流水线内。唯一入口用户点开摘要卡上的来源链接。数据流铁律任何层都不得把正文字段写入请求模板结构级焊死不靠自觉。━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第六章 人机分流显化看板K4核心两本账分开晒━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━6.1 两本账所有指标按 人工账 / 爬虫账 分列永不合并指标人工账爬虫账请求次数人工阅览数 N_h爬虫抓取数 N_c流量消耗Σ全文下载Σ摘要HEAD探测覆盖广度点了多少来源站索引了多少站点时间分布人类作息曲线调度匀速曲线6.2 看板公示指标每日自动生成可复核摘要满足率 α目标 ≥ 0.70低于则优先优化摘要质量压力节省率 η按4.3公式实算不估不吹人机比 N_c / N_h健康区间经验值 1~5异常波动触发 审查对源站压力榜每个域名 req/天 与 退避/熔断记录全公示6.3 审计接口任何人可导出某日两本账原始记录哈希链密封对接隐私规则v2.0审计链。显化不是口号数字上链改数字改协议改协议修宪流程。━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第七章 合规、版权与对等义务GAP-03 / GAP-07━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━7.1 robots.txt 无条件遵守Disallow 的路径一个字节都不碰。7.2 摘要合理引用边界- 摘要 ≤ 300字 或 原文 10%取小者超出部分一律截断省略号- 每张摘要卡必须署名来源站 原文链接来源链不可切断君子协议- 源站主张删除48h 内下架摘要卡并回执冻结不删除留痕。7.3 不规避反爬遇到验证码/登录墙/付费墙绕道违规正确动作放弃。7.4 反滥爬对等义务自己定规矩自己先遵守龍魂系站点对其他爬虫执行同一套规则——摘要开放、全文人工、人机分流显化。我们的 robots.txt 明示摘要路径允许、全文路径Disallow以身作则。7.5 法条对接《数据安全法》数据分类分级《个人信息保护法》最小必要《生成式AI服务管理暂行办法》来源标识义务。━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第八章 接口契约与外脑/审计体系的接缝━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━8.1 摘要卡 → 记忆外脑直接套用《记忆永存与外脑压缩总协议》压缩卡格式simhash指纹算法同源64位汉明≤3判重无缝对接归档/去重/不动点压缩。8.2 审计链 → 隐私规则v2.0每日看板数据铸入哈希链H_n SHA-256(H_{n-1} ‖ 日期 ‖ 人工账 ‖ 爬虫账 ‖ SIG)8.3 熔断联动 → P72龍盾单域名熔断 24h 达 3 次/周自动提请人工审查该源站。8.4 显化出口看板只传用量不传内容对接隐私规则v2.0第0条——统计数字可以走网络用户点了哪篇文章不出本机。━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━第九章 测试向量GAP-08焊点设计自证12条全绿才算数━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━#场景期望行为T01robots Disallow 路径请求数0直接放弃T02摘要σ0.92准入索引库 T03摘要σ0.66拒绝入库 T04连续5次错误熔断该域名24h记日志T05BotScore0.85自报bot匀速计入爬虫账T06BotScore0.10正常人计入人工账T07ETag未变复检只发HEAD不GET正文T08simhash汉明2判同篇跳过T09压力模型N10000, α0.70η≈69.6%Q₁1.52GBT10令牌桶1秒塞10个请求实际发出≤1个桶空等待T11尝试GET全文路径请求模板无此字段结构级拒绝T12摘要420字300字且10%截断至边界省略号署名保留━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━附录A 易经·道德经锚点━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━艮卦䷳兼山艮“艮其止止其所也。”爬虫知道停在哪——摘要层就是那座山跨一步就是全文层止其所不乱动。节卦䷻水泽节“节以制度不伤财不害民。”令牌桶退避就是节以制度不耗别人的服务器不伤财不扰源站用户不害民。《道德经》第44章“知足不辱知止不殆可以长久。”只取所需、增量更新——知止的爬虫才能长久活着贪婪的爬虫都死在封禁名单里。第81章“圣人不积。”摘要开放、全文人工不囤积全量数据生态清爽正是不积之德。━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━附录B 礼貌爬虫参考实现纯Python标准库可执行验证━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━说明本代码为协议的可执行镜像——令牌桶、robots检查、simhash、BotScore、人机两本账、压力模型全部对应第四章公式。沙盒内用本地模拟站点验证不触碰任何真实外站。# -*- coding: utf-8 -*-# DNA: #龍芯⚡️2026-07-21-SUMMARY-CRAWLER-SPLIT-V1.0-P0# 龍魂礼貌爬虫 · 摘要只取·全文人工·人机分账·诚实自报importhashlib,re,timefromurllibimportrobotparser S_F,S_S,HEAD_KB500.0,2.0,0.3# 全文KB / 摘要KB / HEAD探测KBclassCNSH_令牌桶:def__init__(self,容量3,速率0.5):# 1 token / 2sself.b,self.r,self.令牌,self.上次容量,速率,容量,time.time()def取(self):现在time.time()self.令牌min(self.b,self.令牌self.r*(现在-self.上次))self.上次现在ifself.令牌1:self.令牌-1returnTruereturnFalsedefCNSH_simhash(文本):v[0]*64fortokinre.findall(r[\u4e00-\u9fff]{2}|\w,文本):hint(hashlib.sha256(tok.encode()).hexdigest(),16)foriinrange(64):v[i]1if(hi)1else-1returnsum((1i)foriinrange(64)ifv[i]0)defCNSH_汉明(a,b):returnbin(a^b).count(1)defCNSH_摘要质检(摘要,原文锚点):命中sum(1forain原文锚点ifain摘要)σ命中/max(1,len(原文锚点))return(ifσ0.85elseifσ0.70else),σdefCNSH_BotScore(访问):分0.0ifre.search(rbot|spider|crawler,访问[ua],re.I):分0.40if访问[间隔方差]0.1:分0.20ifnot访问[有睡眠窗]:分0.15ifnot访问[请求资源]:分0.15if访问[交互熵]0.5:分0.10return分defCNSH_压力模型(N,α):Q0N*S_F Q1N*S_SN*(1-α)*S_FreturnQ0,Q1,1-Q1/Q0classCNSH_礼貌爬虫:UALonghunBot/1.0 (https://longhun.example/bot)# 诚实自报def__init__(self):self.桶{}# 每域名一个令牌桶self.指纹库set()self.账{人工:{次:0,KB:0.0},爬虫:{次:0,KB:0.0}}self.熔断{}# 域名 - 连续错误数def_域名(self,url):returnurl.split(/)[2]def_检查robots(self,url):rprobotparser.RobotFileParser()rp.set_url(https://self._域名(url)/robots.txt)try:rp.read()exceptException:returnFalse# 读不到谨慎不爬fail-closedreturnrp.can_fetch(self.UA,url)def抓摘要(self,url,摘要文本,锚点(),etag变了True):dself._域名(url)ifself.熔断.get(d,0)5:return{状态: 域名熔断24h,域名:d}桶self.桶.setdefault(d,CNSH_令牌桶())ifnot桶.取():return{状态: 令牌不足,礼貌等待,域名:d}ifnotetag变了:# 增量ETag未变只HEADself.账[爬虫][KB]HEAD_KBreturn{状态: HEAD探测,无需重抓,KB:HEAD_KB}fpCNSH_simhash(摘要文本)ifany(CNSH_汉明(fp,x)3forxinself.指纹库):return{状态: simhash判重,跳过}色,σCNSH_摘要质检(摘要文本,list(锚点))if色:return{状态: 摘要σ%.2f0.70,拒收%σ}self.指纹库.add(fp)self.账[爬虫][次]1self.账[爬虫][KB]S_Sreturn{状态:%s 摘要卡入库 σ%.2f%(色,σ),指纹:fp}def记人工点全文(self):self.账[人工][次]1self.账[人工][KB]S_Fdef分账(self,访问):sCNSH_BotScore(访问)return爬虫ifs0.6else(复核ifs0.3else人工)━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━签署与锚定━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━创建者: 诸葛鑫UID9622 · 龍芯北辰身份锚: #ZHUGEXIN⚡️2025-⚖️♠️‍♀️❤️♾️-DEVICE-BIND-SOULGPG指纹: A2D0092CEE2E5BA87035600924C3704A8CC26D5F确认码: #CONFIRM9622-ONLY-ONCELK9X-772ZDNA追溯码: #龍芯⚡️2026-07-21-SUMMARY-CRAWLER-SPLIT-V1.0-P0三色审计: 代码可执行 阈值为经验值可调改值走修宪流程 全文层无机器门史记铁律: 本协议不删除、只冻结后续版本以新版本号另行锚定。开源协议: CC BY-NC-SA 4.0君子协议来源链不可切断━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━