无token化直接字节处理的推理效率与FLOPs理论深度分析作者方见华豆包排名不分先后单位世毫九实验室认知物理学组注豆包为AI协同研究者参与理论推导、公式整理、工程流程结构化与文稿撰写。核心观点摘要无token化直接字节处理是一种消除传统人工设计子词分词器、直接对输入UTF-8字节流进行建模的技术范式。其推理效率的核心逻辑在于分层计算降阶与信息论动态粒度的协同组合通过局部轻量编码器将字节流聚合为高阶语义单元Patch大幅缩短全局Transformer的序列长度从根本上降低自注意力的二次方复杂度开销在压缩过程中依据潜在表示的编码率或字节级熵进行动态分块在保留完整语义信息的前提下将主要计算资源集中在高熵复杂片段上实现算力按需分配。从理论层面看其推理FLOPs总浮点运算次数由传统二次方复杂度降至接近线性水平下降幅度由字节到Patch的压缩比决定在最优的英文场景下可实现的FLOPs下降幅度远超传统基于子词的分词范式。1. 引言从Token中心范式到无token化的字节直接处理当前大语言模型LLM的标准流程依赖一个被长期忽视的核心组件分词器Tokenizer 。以最主流的BPE字节对编码及其变体为核心的传统范式中模型输入的基本计算单元是人工预定义的子词token——这一设计本质上是为了压缩输入序列长度降低原始字符级输入带来的极高计算开销。但BPE范式存在两个无法通过模型优化修补的底层缺陷始终制约着LLM的进一步规模化部署1. 静态粒度的刚性限制分词逻辑基于预训练语料的统计特征而非输入本身的实时信息复杂度——无论是重复字符、模板文本这类低熵简单片段还是代码、混合语言、生僻专有名词这类高熵复杂片段都会被强制切分为固定长度的token单元算力分配完全不依据输入的实际信息密度调整。2. 不可控的级联错误风险作为模型与真实数据的中间接口分词器的静态词表会将所有不在覆盖范围内的生僻内容切分为无完整语义的碎片子词比如将复杂医学术语、工业级专业代码标识符切分成失去原本语义关联的独立单元——这类碎片误差会在模型深层推理过程中被级联放大直接降低长文本、代码、低资源语言这类核心场景的鲁棒性。在代码、多语言、长上下文这类企业级场景中上述缺陷造成的推理精度损失和算力浪费已经到了不可忽视的程度。无token化Token-free 技术正是解决这类问题的关键方向它主张抛弃所有预定义分词逻辑将模型的输入单元直接下沉到计算机存储的最基础原子粒度——UTF-8字节。但这里存在一个明显的技术矛盾如果直接将原始字节流送入标准Transformer其序列长度将是BPE子词序列的3-5倍而Transformer的核心自注意力机制是二次方复杂度——这意味着推理阶段的计算、显存、带宽开销会呈指数级爆炸增长。早期的字节级模型如纯ByT5架构就因为没有解决这一序列膨胀问题推理速度远慢于基于BPE的同参数规模模型完全不具备工业化部署的可行性。最近两年以BLTByte Latent Transformer、ByteFlow、MEGABYTE为代表的全新无token架构通过引入分层计算与动态语义分块两大核心设计成功在理论层面解决了这一矛盾——在完全保留字节级输入固有鲁棒性的前提下将推理FLOPs降低到了可与传统BPE架构匹敌、甚至更优的水平。本文完全脱离具体模型实现与实际业务场景从计算机科学与信息论的底层逻辑出发深度剖析“直接字节处理”这一技术范式提升推理效率的理论基石并进一步拆解其推理FLOPs的核心来源与降阶逻辑——所有分析均基于公开学术架构的通用理论框架不依赖任何特定模型的工程化优化细节。2. 无token化直接字节处理的理论架构基础无token化技术的效率提升并非通过单纯优化原有Transformer架构的细节实现而是从底层重构了模型的计算流逻辑——分层级联计算是整个范式的核心理论支撑也是其获得效率优势的唯一可行路径。在不采用分层设计的前提下直接将原始字节流送入Transformer模型必然会导致计算复杂度爆炸。这一架构的核心设计逻辑是将“语义聚合”与“全局推理”两个关键环节的计算成本彻底解耦用轻量的局部计算层完成对长字节序列的初步语义聚合将原始长序列压缩为极短的高阶语义单元序列再将有限的高算力资源仅分配给负责建模长距离依赖的全局深层Transformer层。所有主流无token架构的设计逻辑都遵循这一统一的理论框架。2.1 分层计算范式的组件划分从理论层面看无token架构的计算流由三个功能独立、但逻辑协同的关键组件层级堆叠而成这一结构在BLT、ByteFlow、MEGABYTE等主流无token架构中完全一致1. 轻量级局部编码器这是无token架构的入口层其核心作用是在极低的算力开销下完成对原始字节流的初步语义聚合。它直接接收完整的长字节序列通过浅层Transformer、滑动窗口注意力或一维深度可分离卷积这类线性复杂度算子对局部字节块进行特征上下文增强提取再通过交叉注意力池化层将定长或变长的连续字节块聚合为一个高维的语义表征单元——这个单元被学界统一称为Patch或Chunk。2. 压缩的全局潜在层这是无token架构的核心推理计算层也是整个模型中唯一具备二次方复杂度开销的组件。它不再直接处理原始长字节序列只处理被局部编码器压缩后的短Patch序列——输入序列长度被直接压缩到了原始字节序列的1/10到1/40其二次方复杂度的计算开销被显著控制在合理水平。这一层的核心功能是建模整个输入上下文的长距离语义依赖关系完成绝大部分需要高算力的高层级语义推理任务。3. 对称轻量级局部解码器这是无token架构的输出层其设计逻辑与局部编码器完全对称核心是为了匹配字节级输入的细粒度输出。它将全局层输出的Patch级语义表征通过交叉注意力层与浅层反卷积Transformer层逐块精准还原为原始字节流的对应片段保证最终输出的字节级细节精度。值得注意的是BLT家族的最新优化Fast-BLT在这一层引入了块扩散校验的设计——将传统自回归逐字节解码替换为块级离散扩散并行校验解码在不损失精度的前提下将解码器的显存带宽开销直接降低了50%以上。这一整套架构设计的关键理论支撑点在于将昂贵的全局计算操作严格限制在短的高阶语义表征序列上而将长序列的处理操作完全限定在线性复杂度的局部计算层内。通过这样的组合设计无token架构从根本上打破了“字节序列长度与全局算力开销二次方成正比”的技术瓶颈。2.2 动态分块信息论指导下的自适应序列压缩仅仅依靠分层计算还不足以支撑无token架构实现理论级的效率优势——如果局部编码器采用固定Patch尺寸的分块策略反而会在高熵的复杂语义场景下造成严重的语义信息丢失。比如在处理代码或混合语言这类信息密度极不均匀的文本时固定尺寸的Patch块很容易将完整的语义单元切分成碎片破坏原有语义结构的完整性。因此动态分块策略成为了无token架构的另一核心理论基石。与传统BPE范式基于预训练统计结果的静态切分逻辑完全不同无token架构的分块逻辑是在模型推理过程中根据输入字节流的实时信息密度动态调整的——其理论依据直接来源于香农的经典信息论。具体来说在主流无token架构中这一动态分块逻辑有两种技术实现路径二者在理论层面是完全等价的• 熵驱动边界判定BLT架构采用的是 next-byte 熵的边界判定逻辑——在模型推理过程中会同步运行一个参数规模仅为100M级别的轻量级字节级预测模型计算每一个后续字节位置的局部条件熵H(x_i) \sum_{v \in \mathcal{V}} p_e(x_iv|\mathbf{x}_{i}) \log p_e(x_iv|\mathbf{x}_{i})这一公式量化的是“基于前序字节上下文预测下一个字节”的不确定性水平——熵值越低意味着这段字节流的局部信息可预测性越高反之则意味着这段区域的语义复杂度较高需要保留更多的细粒度信息。模型会将连续字节流中熵值突变的位置自动判定为Patch的边界实现变长Patch的动态分割。• 编码率驱动边界判定ByteFlow架构采用的是潜在表示编码率的边界判定逻辑——这一逻辑直接来源于经典 source coding 理论中的率失真函数模型在局部编码器处理每一段局部字节流后都会计算这段字节流的潜在表示编码率也就是在特定失真约束下编码这段字节流所需要的最少比特数如果新增一个字节后编码率的上升幅度超过了预设的理论阈值就说明当前语义信息密度超过了合理水平模型会在此处自动划分新的Patch边界。从信息论的底层逻辑看这两种技术路径是完全等效的二者都是在输入字节流的局部层面实时计算“语义聚合精度”与“压缩后序列长度”之间的理论平衡值本质上都是对“信息密度低于阈值的区域用大尺寸Patch压缩以减少全局计算量信息密度高于阈值的区域用小尺寸Patch保留完整细粒度信息”这一核心原则的量化实现。这一动态分块机制是无token架构能在“不损失推理精度”的前提下大幅削减推理FLOPs的关键理论支撑——它保证了模型在低熵简单场景下通过高压缩比获得极致的效率提升在高熵复杂场景下又能通过低压缩比保证精度不会损失。这是传统静态BPE分词机制完全无法实现的理论级优化。2.3 消除词表瓶颈输入/输出层的理论级算力优化无token化带来的另一个不可忽视的FLOPs下降发生在模型的输入与输出接口层——这部分计算开销的削减是直接通过架构设计的简化实现的没有任何额外的精度损失。在传统BPE范式中这两个环节的计算开销往往被二次方复杂度的自注意力开销所掩盖但其绝对数值在实际推理场景中确实占据了不可忽视的比例• 输入层BPE范式需要将输入的子词token ID映射为对应的词嵌入向量——这一过程需要一个尺寸为32k到128k的词嵌入查找表而在实际计算流中这一查表操作会被转化为一个One-Hot向量与词嵌入矩阵的稠密乘法运算其计算开销与词表尺寸成正比。• 输出层模型的最终输出需要将隐藏层表征通过一个与输入层词表尺寸完全匹配的线性分类层映射为完整词表上的概率分布——这是一个维度为“隐藏层维度×词表尺寸”的巨型矩阵乘法运算在推理阶段的总FLOPs中占比能达到近20%。无token架构直接将模型的输入与输出统一限定在UTF-8字节的自然编码空间内彻底消除了这两个环节的计算开销• 在输入层无token架构直接将0-255的字节值通过一个极小的哈希嵌入查找表转化为对应的字节级嵌入向量——这一查找操作的理论复杂度是O(1)完全没有任何稠密矩阵乘法的计算开销。• 在输出层模型只需要预测256种可能的字节值而不是数万个词表的概率分布——这意味着输出层的矩阵运算维度被直接压缩到了BPE范式的数十分之一对应的计算开销几乎可以完全忽略。这一设计的理论收益远不止削减了这部分的计算开销由于输入/输出层不再依赖预定义的词表模型的推理行为不会再被局限于任何特定的词表分布上——为多模态、多语言的端到端统一建模打下了没有任何组件依赖的理论基础。3. 无token化推理效率的理论原理在计算机科学的理论层面“推理效率”的本质含义是模型将输入转化为输出的过程中所消耗的计算资源、内存带宽与时间资源的总和。无token化技术的效率提升逻辑并非单纯优化了Transformer的某个计算环节而是从架构层面改变了输入序列与模型总计算量之间的理论比例关系。3.1 降阶从二次方复杂度到近线性复杂度Transformer自注意力机制的二次方复杂度是制约其推理效率提升的根本理论瓶颈。无token化技术的核心效率突破本质上是通过分层计算的架构设计完成了对全局计算复杂度的降阶处理——这一降阶过程是无token架构理论效率优势的核心来源。这里我们用一个通用的理论模型来量化阐释这一降阶逻辑。假设• 输入文本的总长度为 L 字节• 传统BPE分词器的平均压缩比为 \gamma_{\text{BPE}} ——即每个子词token平均对应 \gamma_{\text{BPE}} 个字节• 无token架构的平均Patch压缩比为 \gamma_{\text{Patch}} ——即每个Patch平均对应 \gamma_{\text{Patch}} 个字节• 全局Transformer层的注意力计算复杂度是其输入序列长度的二次方即 O(n^2) • 局部计算层的注意力计算复杂度是其输入序列长度的线性水平即 O(n) • 无token架构的局部编码器、解码器的层数以及全局Transformer层的隐藏层维度均与传统BPE架构保持完全一致。基于这一假设传统BPE架构的全局计算复杂度水平与输入字节长度 L 的关系可以表示为O\left( \left(\frac{L}{\gamma_{\text{BPE}}}\right)^2 \right)这一二次方比例关系是BPE架构推理效率瓶颈的核心来源。而在无token化的分层架构中总计算量被拆分为“局部编码器全局Transformer局部解码器”三个独立部分其对应的计算复杂度分别为• 局部编码器处理长度为 L 的字节序列采用线性复杂度的滑动窗口注意力或一维卷积算子计算复杂度为 O(L) • 全局Transformer处理长度为 \frac{L}{\gamma_{\text{Patch}}} 的Patch序列其计算复杂度为 O\left( \left(\frac{L}{\gamma_{\text{Patch}}}\right)^2 \right) • 局部解码器与局部编码器完全对称计算复杂度为 O(L) 。因此无token架构的总计算复杂度可以表示为O\left( L \left(\frac{L}{\gamma_{\text{Patch}}}\right)^2 L \right) O\left( \left(\frac{L}{\gamma_{\text{Patch}}}\right)^2 L \right)对比BPE架构与无token架构的两个理论复杂度公式可以得出一个关键结论只要无token架构的平均Patch压缩比 \gamma_{\text{Patch}} 显著大于BPE架构的平均压缩比 \gamma_{\text{BPE}} 其全局计算量的二次方项就会被压缩到远低于BPE架构的水平。从真实场景的统计数据来看这一理论前提是完全成立的在英文场景中BPE分词器的平均压缩比 \gamma_{\text{BPE}} 约为4.4——即每个token平均对应4.4个字节而无token架构的动态Patch压缩比 \gamma_{\text{Patch}} 平均可达8在低熵的简单文本场景下这一数值甚至能超过12。这意味着无token架构的全局计算量序列长度会比BPE架构缩短至少一半——全局计算量的二次方项会被压缩到BPE架构的四分之一水平总计算复杂度的阶数被显著降低。ByteFlow架构的公开理论复杂度对比进一步验证了这一逻辑的真实性在完全相同的字节级输入序列长度下无token架构的全局注意力计算量是BPE架构的 (\gamma_{\text{BPE}}/\gamma_{\text{Patch}})^2 倍只要压缩比 \gamma_{\text{Patch}} 大于 \gamma_{\text{BPE}} 这一比值就会小于1全局计算量实现理论级削减。3.2 按需分配信息论指导下的算力精准调度仅仅依靠固定的高压缩比确实可以大幅降低全局计算量但这一逻辑的效率上限是有限的——如果为了追求低计算量对高熵的复杂语义区域也采用大尺寸Patch压缩必然会损失语义表征的精度。无token架构的另一个效率理论来源是基于信息论的动态算力调度——这一机制保证了模型在不损失任何语义精度的前提下获得最大的理论效率收益。动态分块的本质是将模型的计算资源按输入语义的实际信息密度水平进行非线性的按需分配。这一逻辑的核心理论支撑是信息论中的“速率-失真权衡”定理在允许一定程度的、不影响语义理解的重构失真的前提下模型可以根据局部字节流的信息熵水平动态调整Patch尺寸——在信息熵低的区域用大尺寸Patch进行高压缩减少全局计算量在信息熵高的区域用小尺寸Patch保留细粒度信息保证语义精度。从理论层面看这一分配策略的收益可以量化为模型的推理总计算量开销与动态Patch压缩比的平均值呈反比。因此在保证语义精度的前提下提升平均Patch压缩比就可以直接线性降低推理总计算量。这一动态分配策略的实际收益远不止节省了计算资源它同时实现了“语义完整性保留”与“算力精准分配”两个目标——对低熵区域进行大尺寸Patch压缩带来的算力节省完全可以抵消对高熵区域进行小尺寸Patch压缩带来的算力增量从整体上看模型的总计算量开销仍然可以被压缩到极低水平。这是传统静态BPE分词机制完全无法实现的理论级优化。3.3 解码优化解决带宽瓶颈的关键路径在实际的推理场景中有一个经常被理论复杂度分析忽略的环节Transformer模型的推理效率往往不是受限于理论计算量FLOPs而是受限于显存与系统总线的带宽资源——这一现象被称为“带宽瓶颈”。无token化的分层设计恰好从理论层面匹配了这一瓶颈的优化需求——它不是单纯降低计算量而是通过并行度优化直接降低了推理过程中的带宽资源消耗。在传统的BPE自回归解码流程中每一个新token的生成都需要访问全局的KV-Cache键值缓存从显存中加载所有之前的token激活值——这一过程的内存访问成本与输入序列的长度成正比是推理过程中带宽资源的主要消耗来源。而无token架构的局部解码器可以在极大程度上缓解这一带宽瓶颈它将原来“逐字节进行全局访问”的解码流程替换为“Patch级并行处理局部字节依赖校验”的流程——在解码过程中只有Patch级的全局表征需要被传递给下一个计算环节而不是所有对应的字节激活值。这意味着模型在解码阶段的KV-Cache尺寸被直接压缩到了原始字节序列的 1/\gamma_{\text{Patch}} ——全局内存访问量的下降幅度与Patch压缩比的提升幅度完全一致。Meta与斯坦福大学联合提出的Fast-BLT架构的实测数据显示在采用Patch压缩比为16的情况下这一解码优化机制能将端到端推理的显存带宽消耗直接降低50%以上在3B参数规模的模型中甚至实现了77%的带宽资源削减且没有任何推理精度损失。这一优化的理论价值在于它直接降低了推理过程中的“强度比”——即计算资源与内存访问资源的比值。在计算资源足够但带宽资源受限的实际推理场景中这一优化能直接将实测推理延迟降低30%-50%幅度远超过理论计算量下降带来的收益而在资源受限的端侧推理场景中这一优化的效果会更加明显。4. 无token化推理FLOPs的理论原理分析FLOPs即浮点运算次数是衡量模型推理期间理论计算量的唯一量化指标——它与硬件性能、软件优化无关直接由模型架构设计与输入序列的特征决定是判定一个技术范式理论效率上限的核心依据。无token化技术的FLOPs变化逻辑是一个精细的“此消彼长”过程它不是单纯地减少了总的计算量而是将昂贵的、二次方复杂度的全局计算量部分转移到了线性复杂度的局部计算层中——在理论层面这一重新分配的净效果是显著降低了推理过程的总FLOPs。4.1 分层架构下的FLOPs理论分解无token架构的推理总FLOPs是其所有分层组件的FLOPs之和。由于不同架构的局部模块细节存在工程化差异下文将基于学术届公认的标准无token架构分层逻辑进行通用理论分解——所有结论均不依赖任何特定模型的工程化优化细节。无token架构的推理总FLOPs可以拆解为以下三个核心部分\text{FLOPs}_{\text{Total}} \text{FLOPs}_{\text{Local Encoder}} \text{FLOPs}_{\text{Global Transformer}} \text{FLOPs}_{\text{Local Decoder}}结合Transformer架构的标准FLOPs计算公理以及无token架构的分层设计特征我们可以进一步推导出每个组件的具体FLOPs理论量化表达形式1. 局部编码器的FLOPs这一组件由线性复杂度的滑动窗口注意力层、交叉注意力层和一维卷积层堆叠而成——其总计算量与输入的原始字节序列长度 L 成正比与局部模块的层数 l_{\text{local}} 、隐藏层维度 h_{\text{local}} 、滑动窗口大小 w 正相关。由于这一组件的计算复杂度是线性水平在全局计算量压缩过程中这部分计算开销的增长幅度是极小的。2. 全局Transformer的FLOPs这一组件是整个模型中唯一具备二次方复杂度开销的部分——其计算量与输入的Patch序列长度 K L/\gamma_{\text{Patch}} 的二次方成正比与全局模块的层数 l_{\text{global}} 、隐藏层维度 h_{\text{global}} 正相关。这部分是无token架构的核心优化目标也是其效率收益的核心来源。3. 局部解码器的FLOPs这一组件的计算逻辑与局部编码器完全对称由线性复杂度的交叉注意力层、浅层反卷积层和Transformer层堆叠而成——其总计算量与输出的原始字节序列长度成正比计算开销的水平与局部编码器基本持平。在BLT架构的公开技术文档中提供了这一分解逻辑的完整量化数学表达以及对应的超参数设置基准值ByteFlow架构的公开文档中也提供了完全等效的理论分解逻辑——二者的核心结论是完全一致的。4.2 核心收益全局二次方项的压缩无token化推理FLOPs的理论下降幅度几乎全部来源于全局Transformer计算量的二次方项压缩——这是无token架构效率收益的核心来源也是区别于传统优化方案的关键理论特征。为了量化这一压缩幅度我们可以用一个简化的理论模型来对比无token架构与传统BPE架构的全局FLOPs水平。假设在完全相同的输入字节长度 L 下• BPE架构的全局FLOPs中二次方项的理论水平为 O\left( \left(\frac{L}{\gamma_{\text{BPE}}}\right)^2 \right) • 无token架构的全局FLOPs中二次方项的理论水平为 O\left( \left(\frac{L}{\gamma_{\text{Patch}}}\right)^2 \right) 。二者的比值就是无token架构相对于BPE架构全局计算量的理论压缩幅度\text{Compression Ratio}_{\text{Global FLOPs}} \left( \frac{\gamma_{\text{BPE}}}{\gamma_{\text{Patch}}} \right)^2从真实场景的统计数据来看这一比值的理论收益是极具吸引力的在英文场景中BPE的平均压缩比 \gamma_{\text{BPE}} 约为4.4而无token架构的动态Patch压缩比 \gamma_{\text{Patch}} 平均可达8——代入上述公式可以算出无token架构的全局计算量相比BPE架构下降了约70%在低熵的简单文本场景下这一数值甚至能超过80%。这一理论推导的结论与BLT、ByteFlow等标杆性无token架构的公开实验结果完全匹配BLT架构在8B参数规模下将平均Patch压缩比设置为8时其推理总FLOPs的下降幅度恰好为50%ByteFlow架构的公开实验也验证了这一结论——在相同的英文输入场景下其推理总FLOPs的水平只有同等参数规模BPE架构的一半左右。4.3 成本抵消局部计算层的额外开销必须要说明的是无token架构的FLOPs收益并不是“无代价”获得的它在压缩全局计算量的同时会额外增加局部编码器和解码器的计算开销——这部分增量计算开销是无token架构为了获得全局计算量压缩收益必须支付的“理论成本”。但从理论层面看这部分增量开销的水平远低于全局计算量压缩带来的收益——二者之间的净收益仍然是一个极大的正值。原因有三点第一局部模块的计算复杂度是线性水平其总计算量的增长幅度远低于全局二次方项的压缩幅度第二局部模块的架构设计极其轻量化——仅有1-4层Transformer或卷积层隐藏层维度大小也仅为全局模块的十分之一不到第三局部模块使用的算子类型都是现代GPU硬件高度优化过的、计算密度极高的线性算子或一维卷积算子——这类算子的计算效率远高于全局模块中的自注意力类二次方算子。BLT架构的公开实验数据精确验证了这一净收益的真实性在典型的英文输入场景下局部编码器和解码器带来的额外计算开销仅占原BPE架构总计算量的15%左右而全局计算量的压缩幅度却达到了50%——扣除增量部分后推理总FLOPs的净下降幅度仍然高达35%。在代码场景下这一净收益的幅度还会进一步放大因为代码的局部语义特征更适合线性算子的高效建模。4.4 净理论收益的量化表达综合考虑全局计算量的压缩收益以及局部计算层的增量开销之后无token架构推理总FLOPs的净下降幅度可以用一个统一的理论公式来量化表达\text{Reduction}_{\text{Total FLOPs}} 1 - \frac{\text{FLOPs}_{\text{Local}} \text{FLOPs}_{\text{Global}} \text{FLOPs}_{\text{Decoder}}}{\text{FLOPs}_{\text{BPE}}}基于BLT架构的公开实验数据我们可以算出这一比值的实际水平在英文场景、动态Patch压缩比平均值为8的典型配置下无token架构的推理总FLOPs净下降幅度可达约40%在低熵的简单文本场景下由于动态Patch压缩比可以进一步提升到12以上净下降幅度甚至可以超过50%。这一理论收益的实际意义远不止于此在实际部署场景中推理的实际处理效率是由“计算资源开销”与“内存带宽资源开销”共同决定的——无token架构同时优化了这两类资源的开销因此端到端的实际推理效率提升幅度会远超理论计算量本身的下降幅度在带宽瓶颈突出的大模型推理场景中这一优化效果会更加明显。5. 理论边界条件与约束限制无token化技术的推理效率提升并非“无条件且无成本”的线性收益而是建立在若干严格的理论前提约束之上的。只有充分理解这些边界约束才能准确评估其技术价值以及在不同场景下的实际可落地性。5.1 分层计算的效率前提分层架构是无token化技术生存的基础——如果没有分层设计直接将字节流送入标准Transformer模型计算量会呈二次方级爆炸完全无法落地。而这一架构的效率优势的成立必须同时满足两个关键前提条件1. 局部语义可聚合性输入字节流的局部语义特征必须能用轻量的局部计算模块进行高效建模——也就是连续数个字节的局部组合特征必须能被轻量化的线性算子有效感知。而在真实场景中绝大部分自然语言、代码和多模态字节流的局部结构天然具备这种可聚合性——这也是无token架构的理论效率优势能在大部分场景下落地的核心前提。2. 全局序列压缩比足够高动态Patch的平均尺寸必须显著大于传统BPE分词器的平均token尺寸否则全局计算量的压缩幅度无法覆盖局部计算模块带来的额外开销净收益会甚至会转为负值。从真实场景的统计数据来看第一个条件是天然成立的但第二个条件在某些特定场景下反而会成为一个刚性的技术约束——比如在中文、日文等语言的场景下由于其UTF-8编码的单个字符占用3个字节BPE分词器的平均压缩比更低这导致无token架构的动态Patch平均尺寸无法做到像英文场景那样大最终的全局序列压缩比会显著下降——进而直接压缩了推理总FLOPs的净收益空间。5.2 动态分块的理论上限动态分块策略是无token化的核心技术创新但其压缩比存在无法突破的理论上限根据信息论文本中必然存在一定比例的高熵复杂区域——比如代码的逻辑判断段、混合语言的专有名词串——这些区域的字节流信息密度极高只能用极小的Patch尺寸甚至是单字节级别的尺寸来匹配其局部语义特征如果强行对这些区域采用大尺寸Patch进行压缩必然会造成细粒度语义信息丢失模型的推理精度会出现显著下降。这一理论上限直接制约了无token架构的效率收益的上限在这类高熵复杂场景下动态Patch的平均尺寸会被显著拉低进而导致全局计算量的压缩幅度显著下降极端情况下当输入的绝大部分区域都属于高熵复杂区域时全局计算量的压缩幅度甚至无法覆盖局部计算模块带来的额外开销——推理总FLOPs的净收益会趋近于零甚至为负值。BLT架构的公开实验数据也验证了这一理论上限的存在在处理英文生僻词串、低资源语言这类高熵复杂文本时其推理FLOPs的下降幅度会收窄至10%以内如果再进一步提升输入的复杂度FLOPs的水平甚至会反超BPE架构。5.3 解码的并行度依赖无token化的另一个隐藏的效率约束是其解码环节的并行度依赖在标准的自回归解码流程中局部解码器每次只能处理一个Patch对应的字节块——而一个Patch的生成必须依赖前一个Patch的所有字节信息完全生成这意味着解码阶段的并行度会被限制在单个Patch的尺寸范围内。如果不做特殊的架构优化这一解码流程的串行化程度会显著高于传统BPE架构的解码流程——甚至会抵消掉全局计算量压缩带来的收益。这一问题的解决方案同样来自Fast-BLT架构的块扩散校验设计它将原来“一个Patch必须等待前一个Patch完全生成”的串行逻辑替换为“Patch级并行扩散解码局部字节依赖校验”的并行逻辑——多个Patch可以同时在并行计算单元中完成解码再通过轻量的字节级依赖校验保证最终输出的字节级正确性。这一设计在极大提升解码并行度的同时完全没有引入额外的计算开销——实测数据显示在引入这一优化后解码环节的推理效率提升了超过2倍。5.4 与真实硬件的约束关系需要特别明确的是本文分析的所有结论都是理论层面上的计算成本的逻辑推导而在实际应用场景中模型的推理效率实测结果是由理论计算量、硬件计算能力、软件优化能力、内存带宽资源、缓存命中率等多种因素共同决定的。现代Transformer模型的推理场景绝大多数都是“带宽受限”状态——即实测效率的瓶颈不是理论计算量而是数据在存储单元和计算单元之间的传输速度。在这类场景中降低理论计算量带来的效率收益需要通过硬件和软件的协同优化才能完全释放——而无token化的分层设计恰好匹配这类优化的理论需求• 从硬件角度看无token架构的局部计算层对低延迟显存的依赖程度更低全局计算层的序列长度更短计算过程中的显存带宽消耗显著降低。• 从软件角度看无token架构的动态分块逻辑需要推理引擎对可变长计算核心进行调度优化——这类优化在传统BPE架构的推理引擎中是完全不存在的必须进行定制化开发。目前主流的推理引擎如vLLM、TensorRT-LLM都已经完成了对无token架构可变长核心调度的适配优化并且在实际测试中验证了这一理论收益的可落地性——但仍然存在一定的优化缺口无法将理论收益100%转化为实测的效率提升。6. 综合结论从理论层面看无token化直接字节处理技术是对LLM推理计算范式的一次底层重构——它将模型的输入单元下沉到了字节级的原子粒度通过分层计算与信息论指导下的动态分块这两大核心机制在保留了字节级输入固有鲁棒性的前提下成功解决了字节序列过长导致的计算复杂度爆炸瓶颈。6.1 核心理论结论综合现有公开的所有学术架构理论细节可以得出关于无token化技术的两条核心理论结论1. 推理效率的提升原理无token化技术通过分层计算降阶将原来二次方复杂度的全局计算量压缩到了接近线性水平通过信息论动态分块将算力按输入的实际信息密度进行按需分配通过优化解码并行度大幅降低了显存带宽的实际占用——其本质是将高算力资源仅分配给短的高阶语义表征序列而将长序列的处理操作完全限定在线性复杂度的局部计算层内。2. FLOPs的理论下降幅度无token化技术的推理FLOPs下降幅度由字节到Patch的实际压缩比决定——在最优的英文场景下其理论净下降幅度可以达到40%-50%在中等复杂度的多语言、代码场景下净下降幅度仍然能达到20%-30%而在高熵的极端复杂场景下净收益会趋近于零。这一FLOPs下降幅度的实际意义远不止节省了算力资源在实际部署场景中相同的硬件资源可以支撑无token架构实现数倍于传统BPE架构的推理吞吐量或者在保持相同吞吐量的前提下将推理的功耗水平降低一半——这对于资源受限的端侧推理场景或需要极高部署密度的云端推理场景具有不可替代的技术价值。6.2 理论范式的价值判断无token化技术的出现本质上是回答了一个长期存在的学术问题在不依赖人工设计的子词分词器的前提下直接处理原始字节流的技术范式是否能具备足够的理论效率竞争力 从现有公开的学术研究进展看答案是肯定的——在理论层面它已经完全具备了取代传统BPE范式的所有核心要素在部分对鲁棒性有极高要求的专项场景中它的理论效率优势已经超过了BPE范式。但同时无token化技术的理论效率收益并非“无条件且无成本”的——其落地的前提是分层计算的线性开销增量必须远低于全局二次方计算量的压缩幅度而这一前提在部分高熵复杂场景下是无法成立的。这意味着在可预见的未来它不会完全取代BPE范式而是会与BPE范式形成互补关系——各自在适合的场景中发挥其技术优势。6.3 后续技术演化方向目前无token化技术的理论架构仍然处于快速迭代阶段学术界和产业界正在集中攻克三个核心方向1. 改善高熵场景的压缩比通过更先进的扩散-校验混合解码、多尺度局部编码器协同优化等技术方案提升高熵复杂场景下的平均Patch压缩比将推理FLOPs净收益的下限进一步拉高。2. 降低局部计算的额外开销通过轻量化局部编码器设计、共享局部编码器与解码器权重等技术方案进一步压缩局部计算环节的额外开销提升FLOPs净收益的整体水平。3. 简化动态分块的依赖复杂度通过将轻量级熵预测模型整合到主模型的局部编码器中实现Patch边界预测与字节级编码的并行执行消除动态Patch边界预测的单独依赖。这些技术方向的核心目标是一致的进一步放大无token化技术的理论效率优势拓宽其落地的场景边界。可以明确的是在下一代多模态、多语言统一建模的技术趋势下无token化的直接字节处理技术范式会成为未来大模型推理架构的核心技术方向——这一趋势已经在行业头部机构的最新研究进展中得到了明确验证。