核心矛盾在于连续值回归难那就离散化转分类。但现有的分桶方法比如等宽、等频都很 heuristic没有仔细研究过分桶这个动作本身会引入什么误差。本文分析分桶引入的误差主要有两种学习误差桶太窄桶内样本就少分类器学不准复原误差桶太宽从离散的桶还原成连续值时近似精度就低用桶的右端点代表整个桶太糙了等宽分桶会导致学习误差大等频分桶会导致复原误差大。那能不能自适应地分桶让两种误差在理论上达到一个最优的平衡这就是 CREAD 的出发点方法CREAD框架包含三个模块离散化模块把连续的观看时长 y通过一组阈值 [1,2,...,] 分成多个区间通过EAD来找这些阈值见后面讲解分类模块训练 M 个二分类器第 m 个分类器负责预测 观看时长 y 是否大于阈值 输出概率 。这样一段连续的时间就被一串概率序列 [1,2,...,] 表示了。复原模块把分类器输出的概率序列通过期望公式还原成最终的预测时长 ŷ 。原理是预测值是分布期望的近似等于 每个区间宽度 × 时长超过该区间右侧阈值的概率 之和模型训练的损失函数由三部分组成标准的分类交叉熵损失、让预测时长 ŷ 更准的复原损失用的是 Huber Loss还有一个很关键的序关系正则项。这个正则项强制让输出的 M 个概率满足单调递减的先验12...因为一个视频的观看时长超过更大阈值的概率肯定更小保证了预测的物理意义误差自适应离散化 (EAD)论文在这里深刻剖析了离散化带来的两种误差并推导出了它们的误差上界还原误差的上界 ―≤―∝()其中 受样本分布影响的项桶宽平方和受样本分布影响的项桶宽平方和()∑[Ψ()−Ψ(−1)]2⏟受样本分布影响的项⋅∑(−−1)2⏟桶宽平方和学习误差的上界 ―≤―∝()其中 受样本分布影响的项宽度的平方除以样本比例受样本分布影响的项宽度的平方除以样本比例()∑[Ψ()−Ψ(−1)]2⏟受样本分布影响的项⋅∑(−−1)2Ψ()−Ψ(−1)⏟宽度的平方除以样本比例为了让两种误差的上界最小EAD的做法是将它们组合成一个总损失函数 ()并通过优化这个损失来找到最佳划分min()()⋅()(21)这就是 EAD 的目标函数了 连接了等宽与等频当 →0 时EAD 退化为等频划分当 →∞ 时EAD 退化为等宽划分。EAD 通过调整 在这两种极端方法之间找到了一个自适应于数据分布的最优点然而直接求解高维的 () 很困难论文提出了一个巧妙的思路用一个统一的公式把等宽、等频以及所有可能的中间策略全部表达出来。具体而言EAD引入一个校准函数 将阈值表示为Ψ−1[()]如果把 参数化为一个连续函数族 (;)比如 (;)1−−1−−那么 →0 就是等频 很大就是等宽 在中间则对应某种自适应策略最终 EAD 通过人工设定超参数 并网格搜索 给定一个遍历不同的 值选择使得 () 最小的 值实验实验还是比较全面的离线实验和在线实验都达到了最佳效果同时也测试了一些超参数和分桶数量的影响