景推荐系统精排模型的 Scaling 主要分为两种这两种不是分开独立的后者是前者的进展样本信息 Scaling通过加深行为序列来丰富样本信息具体有两条子路线序列变长从几十到几千的交互行为如SIM、ETA、LONGER和序列变宽每个历史 token 引入额外上下文如DSAN、CAIN、HSTU模型容量 Scaling通过统一的类 Transformer 架构来增强模型表达能力现在的方法如HyFormer、OneTrans、MixFormer把所有特征字段都喂进一个统一的架构里一次前向传播就能实现更丰富的跨域交互但是样本信息 Scaling只把每个历史交互的一部分信息编码进序列 token难免会造成上下文信息的损失模型容量 Scaling存的依旧是 item ID 少量 side info它们和包含丰富多字段的当前请求 token 放在同一个注意力空间里信息密度天差地别会造成表示上的不对称模型没法充分发挥表达能力。最关键的是它们没法建模样本级的时变特征作者以两个刚好点击同一家餐厅的用户举例一个是深夜优惠活跃时段另一个是午间通勤高峰。仅凭 item embedding 这两条行为完全等价但其真实样本上下文传递着截然不同的用户意图信号静态特征附着在物品本身上的比如餐厅的菜品口味、价格区间、人均消费、商区位置这些信息相对稳定不变样本级的时变特征附着在这一次具体的交互上的它是瞬时、一次性、且只对这一次交互有意义的如果能保留每次交互的完整Raw Sample而不仅仅是 item embedding不仅能避免上下文信息的损失还能消除历史 token 与当前请求 token 之间的信息密度的不对等问题。因此本文提出了SIF把每个历史Raw Sample直接编码进序列 token这样既能最大程度保留样本信息又能同时解决序列特征和非序列特征之间的异构性问题方法Sample-Level Token在交互时刻 Raw Sample 被定义为完整的特征元组[user∣item∣ctx∣cross]其中 user 是用户画像特征item 是商品属性ctx 是上下文信号cross 是预计算好的交叉特征如 user-category 亲和度、item-context 共现统计。Raw Sample ∈ 维度很高数千字段Sample Tokenizer 的任务就是把它压缩成 Token Sample这里区分两类特征非序列特征用户属性、商品属性、上下文信号等和序列特征用户历史交互序列 带有时间序信息。这里的 Raw Sample 包含的是非序列特征序列特征是由后面的SIF-Mixer通过跨样本注意力直接建模 inter-sample 动态。注意非序列特征和序列特征不是分开的序列特征本身就是由连续时间点的非序列特征组成Sample TokenizerSample Tokenizer :↦ 把每条 Raw Sample 映射成 Token Sample ((,,))。一组共 × 个离散码本索在线服务时仅需存储这些索引embedding 通过 Mixer 内部维护的码本实时查表1Group-Wise DecompositionSIF并不用一个大码本统一覆盖所有特征字段而是先把 切成 4 个语义组划分方式见上面的公式。这种分组设计可以让人工划分的强语义特征如 item_id可以独占一个组以确保其判别信号不会被共享码本里的低基数特征稀释然后每个语义组内部进一步按sub-token granularity 均分为 个 sub-token数量自适应于该组的特征数(3)⌊||⌋ 默认为 32即每 32 个特征字段映射为一个 sub-token特征多的组自然会获得更多 sub-token在Token-level Mixer里也就拿到更多位置。组 内 || 个特征被均分为 个不重叠子集 {()}1每个子集通过组—槽位特定的线性投影压成 0 维的 sub-token 向量(4)~(,)proj(,)(,)∈0所有 sub-token 共享相同维度 016每个样本的总 sub-token 数 ∑1总 token embedding 维度 ⋅0。每个 sub-token (,) 拥有独立的 codebook ,{(,,)},码本大小 2562Residual Vector QuantizationRVQ在每个 sub-token (,) 上应用 层残差向量量化可以详见Vector Quantization for Recommendation笔记的讲解(5)(,,)arg⁡min‖(,,−1)−(,,)‖2,(,,)(,,−1)−(,,)(,,)初始残差 (,,1)~(,)Token Sample 会把所有 sub-token 索引序列拼接。在 4,32,3,256 的默认配置下按美团的特征 schema 总 sub-token 数 27每个样本被压缩为 ××log2⁡27×3×8648 bits这里是存储成本log2⁡ 是因为 8 bit 就能表示 256 种状态3Label-Supervised Codebook TrainingSample Tokenizer 和排序目标联合训练这与VQ-Rec/TIGER等纯无监督量化不同在训练期间 RVQ 重建 ^ 会被送入一个轻量 MLP 预测 pCTR。附加的 pCTR loss tokenBCE(^token,) 加入总损失确保码本按预测相关性组织而非单纯重建误差。重要类别特征如 item ID保留独立字段组防止高基数标识符被混入低判别力特征里稀释Sample Splicing and Serialization标准行为日志仅记录 item ID 序列而SIF把每条记录升级为一次特征快照并压缩为 Token Sample(8){1,…,}→{1,…,}每个 ∈{1,…,}× 仅 ××8 bits默认 648 bits远比 float32 raw 快照紧凑。Token Sample 离线预计算后以 KV 存储。按时间排好序的 Token Sample 序列就是SIF-Mixer的离线输入SIF-MixerSIF-Mixer受到MLP-Mixer风格分解设计启发它堆叠 个相同结构的 SIF Block每个 Block 把交互分解成三段Token-level Mixer、Sample-level Mixer、Token-level FFN。这种分解设计让 intra-sample 特征交互与 inter-sample 时序交互解耦把注意力复杂度从 (()2) 降到 (22)同时保留两个维度的信息流1Input LayoutSIF-Mixer的输入 0∈(1)××0输入由两部分组成Seq Token Samples(1,…,矩阵中的第 1~L 行)离线样本序列 {1,…,} 通过码本查表获得via codebook lookup with recency encodingTarget Token Sample(0矩阵中的第 0 行)由于当前请求特征 () 仅在服务时间可用无法离线预量化。所以这里直接通过学到的线性投影映射到与码本同空间。对齐损失 align 确保每个 target-subtoken 投影矩阵 res(,) 映射到对应码本空间2SIF Block每个 Block ∈{1,…,} 的输入就是 −1行是样本列是 sub-token 位置(11)[0,1⋯0,1,1⋯1,⋮⋱⋮,1⋯,]具体而言每个 Block 会做三个操作分别是Token-level Mixer沿每一行做 self-attention建模同一样本内 个 sub-token 之间的交互。因为来自不同特征组、同组不同子概念的 sub-token 占据不同列注意力能同时捕获跨组相关性user-item-context和组内子概念交互商品价格信号与评论信号Sample-level Mixer沿每一列做 self-attention建模 1 个样本在同一 sub-token 位置的跨时间交互关键是 Target Token Sample (0) 能通过 attention 所有 Seq Token Samples 获取历史上下文Token-level FFN对每个位置做 position-wise 非线性变换,¯,FFN(LN(¯,))3Prediction Head 个 SIF Block 后对 target sample 的 个 sub-token 输出做 mean pooling然后经过两层 MLP sigmoid 输出排序分Training Objective训练目标函数为 BCEVQalign其中 1.0,0.25BCE: 主排序 BCE 损失VQ: 标准 VQ commitment loss (0.25)拉近组编码器输出与 RVQ 重建align: 对齐损失使 target 投影 res(,) 映射到和码本一致的空间从而 target 与历史 token 表征在推理时可跨时间交互(18)align∑1∑1‖res(,)(,)−sg(,)‖2其中 sg(⋅) 是 stop-gradient,∑(,,)(,,) 是 Tokenizer 对 sub-token (,) 的码本重建。训练阶段 , 通过当前请求 Raw Sample 经 Sample Tokenizer 得到 RVQ 重建 ,∑(,,)(,,)作为对齐 target。线上服务阶段就直接使用学习好的 res(,) 来近似 RVQ 重建了关键点因为每个 Raw Sample 承载了原始交互的行为结果label排序监督信号 BCE 会通过 VQ 反传到码本学习使码本按预测相关性而非重建误差组织样本。这是SIF区别于item-VQ的关键Sample-level VQ 必须用 label-aware 监督 对异质多字段特征的组合分解Complexity每个 SIF Block 都会产生 (2⋅(1)⋅0(1)2⋅⋅0) 次注意力操作因为 ≪1≈27vs1000Sample-level Mixer主导开销 (2⋅⋅0)与同序列长度下的标准注意力相当。自适应 sub-tokenization 相对于直接固定特征组 的设计增加了 但 仍保持较小8 时也不超 20因此Token-level Mixer的开销可忽略实验可以看到SIF在与OneTrans、HyFormer效率基本一致的情况下取得了 CTR 和 CVR 的大幅改进从消融实验可以看出 item ID 和 item ID key features 都比较差而Raw Sample恢复了大量性能但是SIF的压缩 token 方式HGAQ却是最好的作者解释这与更好优化、离散码本的隐式聚类约束、语义对齐有关。此外SIF在序列 Scaling 相较于OneTrans、HyFormer体现出了越 Scaling 差距越大的优越性这更能强调Sample-Level Tokens所带来的效益SIF在模型深度和序列长度上的 Scaling可以看出效果很惊人并且 Sequence Length 会更晚遇到表征天花板