不用给大模型塞提示词还能省八成 tokenGLiNER2 到底动了什么手术【免费下载链接】gliner2.5-multi-v1项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1最近技术社区里省 token三个字被玩成了梗。有博主刷到一个项目名字翻译成马尾辫头像一看——长马尾、椭圆眼镜介绍里写着你给他看五十行代码他反手换成一行。评论区笑翻了但笑完发现人家是真能帮你省 token、省钱的。这波讨论里顺带被扒出来一个老玩家GLiNER2读作 g-line-r-two。它没靠梗出圈靠的是一个更朴素的问题——你想从一段文字里抠出人名、公司、金额、情绪、字段……为什么非得每次去问一个千亿参数的大模型大模型当然能干这事。但你得先把一整段作业要求喂给它它再一个字一个字把答案打出来最后你还得祈祷它别把 JSON 格式打错、别瞎编。token 哗哗地烧延迟一秒起钱按量算。GLiNER2 团队Fastino AI今年 7 月把论文挂上了 arXiv编号 2507.18546社区里的工程党这两天正在疯狂拆解它。今天咱们就把这篇论文翻译成人话看看它到底动了哪几台手术。一、先说人话这是个什么东西一句话GLiNER2 是个会做阅读理解题的小型 AI专门干从文字里抠信息这一件事。大模型抽信息像什么像找博士论文导师帮你读合同你得把要求和背景全文递过去他慢悠悠给你打出来一份总结按字数收费偶尔还夹带私货。GLiNER2 像什么像开卷考试里的那本参考答案速查表。你把题目要抽哪些东西和原文一贴它唰地给你划出答案、标好位置不跟你多聊一个字。它的体量有多大大约2 亿多参数什么概念——现在动辄喊70 亿参数的大模型它是人家的几十分之一。官方给的三个版本里最小的只有7400 万参数连显卡都不需要普通电脑的 CPU 就能跑单条文本毫秒级出结果。最关键的是它不是 2024 年那个初代 GLiNER 的换皮。初代只会圈实体比如认出人名地名社区后来自己又长出了抽关系的、做分类的分支模型各干各的部署时一套得伺候好几个。GLiNER2 做的事就是把这帮散装兄弟合并成一整建制。二、它到底动了哪三台手术第一台把作业要求从作文改成了填空题用大模型抽信息输入端的 token 大头是什么是你写的那一大段自然语言指令——请仔细阅读以下文本帮我找出其中的人名、公司名、产品名和金额以 JSON 格式输出格式如下……GLiNER2 换了一套思路用一张极简的任务说明书术语叫 Schema代替长篇大论。说明书里只写要抽什么比如实体类型、分类标签、要填的字段名格式高度压缩。打个比方以前是跟新员工开 30 分钟会交代工作现在是发一张 A4 纸的操作表条目清清楚楚。输入端直接瘦下来一大截。第二台从打答案改成划答案——80% 的 token 就省在这这是最狠的一刀也是省 token的真正来源。大模型是生成式的输出要靠一个字一个字往外蹦。抽出来的每个实体、每个逗号、每个括号都要花 token花 token 就要花时间和钱而且蹦到一半还可能崩格式。GLiNER2 干脆不生成任何文字。它读完原文后做的事像极了做语文划线题实体直接给你标出开头在哪、结尾在哪Tim Cook四个字从原文里划出来不用重新写一遍分类给每个候选标签直接打分选最高分不输出推理过程表格字段先数一句这段里有 2 条记录再逐格去原文里划内容。输入只扫一遍输出几乎零 token。这就是不用 LLM 抽 JSON的核心机制不是它比大模型聪明而是它根本不走一个字一个字打字这条路。省 token本质是省掉了把答案打出来这个动作本身。第三台几个模型并成一个一次阅读办所有事以前的工程现场是这样的认实体一个模型判情感又一个抽表格再来一个。每加一个任务多一套部署、多一遍延迟标签一改还得重训。GLiNER2 把实体识别、文本分类、结构化表格抽取、关系抽取全塞进同一个模型。你一口气声明我要抽人名、判情绪、填采购表、找出谁给谁上班它只把原文读一遍四个任务同时出结果。算力上等于一次阅读理解 几个轻量打分头而不是任务数 × 完整模型。三、效果到底怎么样直接上数字论文里的数据都是零样本也就是不给它任何额外训练直接用分类任务7 个公开基准上GLiNER2 平均准确率0.72把同为开源的 GLiClass0.63和 DeBERTa 零样本0.69都压了下去只比 GPT-4o0.84低一截——而它小了两个数量级。实体识别跨领域基准上 F1 分数0.590跟 GPT-4o 的 0.599 基本打平个别领域AI、文学甚至反超。速度CPU 上50 个标签的分类它只要208 毫秒。对比方案里有个经典做法是每个标签单独跑一遍模型那种做法在 20 个标签时慢它6.8 倍——翻译成人话成本直接砍掉八成以上而 GPT-4o 走 API慢它约2.6 倍还要付钱。另外说个冷知识这模型是用25 万多条样本喂出来的真实文档新闻、维基、法律、论文 GPT-4o 帮忙打的标注和合成数据所以它见得多、不挑食客服话术、邮件、社交媒体都能上手。社区工程党评价得很实在**字段基本固定、量大、要低延迟、数据不能出内网的场景它就是答案开放式理解长报告还是得找大模型。**不是谁取代谁是分工——GLiNER2 当前锋过滤器和大头兵大模型当军师。四、2.5 多语言版来了这次连中文都照顾到了前面聊的是 2 代的论文本体而最近社区在盯的是它的新版本GLiNER2.5尤其是今天这篇的主角——多语言版multi。它相当于给上面的全能选手又升了一级底座换成了多语言编码器mDeBERTa-v3-base2.87 亿参数权重文件 594MB——什么概念比一部蓝光电影还小下载几分钟的事一次最多能读 4096 个词的长段落比论文里说的 2048 还翻倍新加了**带属性的实体**不光认出Alice 和 Bob 是人名还能顺手标出Alice 这句是褒义Bob 是吐槽关系抽取直接成图Alice 为 Acme 工作、Acme 在巴黎一次调用全给你画出来连知识图谱的原料都备好了长文档也不怕自带分段扫描模式自动把结果拼回原文位置。一句话总结这版一个模型、一次调用实体 分类 表格 关系 情绪标签全都要还能跨语言。五、普通人怎么上手门槛高不高这是它最香的部分——门槛低到离谱。不需要显卡不需要服务器甚至不需要写代码。官方配了网页版演示打开就能玩左边贴文本右边配标签实时看抽取效果零门槛体验会一点 Python 的开发者一行命令装好加载模型、贴上文本、声明要抽什么十几行之内就能看到结果想省事的团队还托管了云端 API连权重都不用下觉得通用版不够懂你的业务扔几百条自己标好的数据就能微调出专属版官方连训练流程都打包好了。适合谁客服系统要做工单自动分拣的、要把合同简历发票表格化的、给大模型知识库RAG入库前先扫一遍敏感个人信息的、做跨语言内容分析的——基本就是所有文本要过机器的行业。而且它开源、Apache 2.0 协议商用不心疼。六、最后聊两句这波省 token的热议表面上是两个项目的段子背后其实是整个行业的一次集体反思不是所有活儿都得交给最大的锤子。大模型很强但让它干从固定格式文本里抠固定字段这种活就像派清华博士去流水线上拧螺丝——能拧但拧一颗的成本是熟练工的一百倍。GLiNER2 代表的这类小模型是流水线上的老师傅不挑活、不废话、不要显卡、数据不出门。未来的 AI 系统大概率不是一个大包工头管一切而是大模型当军师 一群各怀绝技的小专家干活。GLiNER2 就是其中一个已经能打硬仗的。最后留个问题给评论区如果给你一个贴文本、秒出表格的小工具你最想先拿它处理什么合同、邮件、还是你家的快递单和体检报告【免费下载链接】gliner2.5-multi-v1项目地址: https://ai.gitcode.com/hf_mirrors/fastino/gliner2.5-multi-v1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考