noteBEATs: Audio Pre-Training with Acoustic TokenizersICML 2023目标是做通用音频表征预训练也就是让模型能理解各种声音人声、音乐、环境声、动物声、车辆声、事件声等。BEATs 把音频也变成“离散 token”然后做类似 BERT 的 mask token prediction。但音频不像文本天然有词所以 BEATs 用迭代训练第 1 轮用随机投影生成粗糙 acoustic token → 训练 audio SSL model第 2 轮用训练好的模型蒸馏出更好的 acoustic tokenizer → 生成更语义化的 token → 再训练更强 audio SSL model不断迭代tokenizer 更强audio model 也更强文章目录note一、研究动机二、论文核心迭代预训练框架冷启动Iteration 1迭代优化Iteration ≥ 2关键技术点三、实验结果单模型性能集成模型性能分词器消融Table 2四、分析与讨论一、研究动机《BEATs: Audio Pre-Training with Acoustic Tokenizers》ICML 2023论文指出当前音频自监督学习SSL存在一个矛盾离散标签预测Discrete Label Prediction在NLP和CV领域大获成功但SOTA音频模型如Audio-MAE仍主要采用重构损失Reconstruction Loss。重构损失的局限倾向于让模型记忆低级的时频细节难以抽象高级语义且浪费容量在无关信息上。音频离散化的难点音频是连续信号且缺乏像语音“音素”那样天然的离散单元直接获取富含语义的**声学分词器Acoustic Tokenizer**很困难。核心目标提出一种迭代框架自动生成语义丰富的离散标签用“掩码预测”替代“重构”统一音频与语言/视觉的预训练范式。二、论文核心迭代预训练框架BEATsBidirectionalEncoder representation fromAudioTransformers的核心是声学分词器与音频SSL模型的交替优化冷启动Iteration 1Random-Projection Tokenizer无预训练模型时使用随机投影KNN聚类将Mel谱图Patch量化为离散标签Codebook大小1024。SSL模型训练基于ViT骨干执行Masked Audio ModelingMAM掩盖75%的Patch预测其离散标签Cross Entropy Loss。迭代优化Iteration ≥ 2Self-Distilled Tokenizer将上一轮收敛的SSL模型作为Teacher通过知识蒸馏训练新的Tokenizer含Transformer Encoder Estimator使其生成的标签蕴含更高层语义。交替提升更好的Teacher → 更好的Tokenizer → 更好的SSL模型形成正向循环。监督增强iter3甚至可用微调后的SSL模型作为Teacher注入下游语义知识。关键技术点损失函数MAM使用交叉熵Tokenizer训练使用余弦相似度蒸馏 MSE码本对齐 Straight-Through梯度。架构12层ViT90M参数卷积相对位置偏置。三、实验结果在AudioSet-2M、ESC-50等6个基准上验证了SOTA性能单模型性能AudioSet-2MmAP 48.6%超越Audio-MAE Large的47.4%且参数量仅90M vs 304M。ESC-50准确率 98.1%相对错误率降低25%。语音任务KS1(98.1%)、KS2(98.1%)、ER(65.0%)均达到或超越专用语音模型。集成模型性能10模型集成在AudioSet-2M上达到mAP 50.6%未使用任何外部数据如ImageNet。分词器消融Table 2BEATs_iter1随机36.0 mAP (AS-20K)BEATs_iter2自蒸馏SSL38.3 mAPBEATs_iter3自蒸馏监督38.9 mAP结论自蒸馏显著优于随机投影且引入监督微调的Teacher效果最好。四、分析与讨论语义鲁棒性可视化Figure 4重构目标的特征对噪声/混响敏感而BEATs的离散标签在t-SNE下能按语义类别紧密聚类证明Tokenizer成功过滤了低级冗余保留了语义。收敛快迭代到第2轮收益最大第3轮趋于饱和说明框架高效。意义证明了音频SSL无需依赖重构损失通过迭代式离散标签预测也能实现跨模态语音/非语音的统一高效建模。