人类的情绪从来不是一套简单的标签它既有面部肌肉的细微变化也有心跳、皮肤电导、脑电波这些难以伪装的生理反应。过去我们总觉得机器很难理解这些复杂的信号但深度学习的出现让这件事突然变得现实起来。尤其是当研究者开始把面部表情和生理信号拆开来看单模态的研究路线反而让问题变得更清晰也更容易找到突破口。面部表情是可见的它直观、自然但也容易被伪装。生理信号是隐性的它真实、难以控制却充满噪声。两者各有价值也各有难点。正因为如此单模态研究并不是退而求其次而是为了更精准地理解每一种信号的独立贡献。只有把每条路走扎实未来的多模态融合才有真正的基础。基于最新发表的综述《Deep learning-based emotion recognition using unimodal facial expressions or physiological signals: A revie》今天我们的的核心任务就是把深度学习在单模态情绪识别中的技术演进讲清楚把数据集、模型、预处理、评价协议这些看似琐碎但极其关键的环节串成一个系统框架同时把研究里反复强调的隐性风险摊开来说。数据泄漏、评价偏差、泛化不足这些问题在情绪识别领域几乎是普遍存在的隐患甚至比模型结构本身更影响最终的可靠性。这项研究由一个跨国团队完成主力来自澳大利亚 Deakin University 的 IISRI包括 Mohsen Golafrouz、Houshyar Asadi、Mohammad Anwar Hosen、Amin Khatami、Siamak Pedrammehr、Lei Wei。团队还汇集了来自 Sohar University 和 James Cook University 的 Mohammad Reza Chalak Qazani来自 Royal Holloway 的 Li Zhang来自Swinburne University 的 CP Lim 和Saeid Nahavandi以及来自 RMIT University 的 Mojgan Fayyazi。这个阵容本身就说明了研究的跨学科属性从智能系统到计算机视觉从生理信号处理到深度学习架构设计几乎覆盖了情绪识别的所有关键领域。1.从传统到深度学习的范式迁移情绪识别的研究并不是从深度学习开始的早期的研究者更像是工匠他们依赖特征工程用手工挑选眉毛角度、嘴角弧度、心率变化、皮肤电导波形的统计特征再用传统分类器去做判断。那时候的模型更像是规则系统能用但不稳。深度学习的出现改变了整个游戏规则。卷积网络让图像中的表情细节自动浮现循环网络让时序信号的变化被自然捕捉端到端的训练方式让特征提取和分类不再割裂。情绪识别从此进入了一个新的时代模型开始自己学习情绪的结构而不是依赖人为定义。不过现有的综述文章大多存在一些明显的不足。很多研究偏向某一种模态比如只讲 EEG 或只讲面部表情导致整体视角不够完整。结构上也常常是堆砌模型和数据集缺乏系统性的分析框架更缺少对评价协议和数据泄漏问题的批判性讨论。图1使用单峰分析进行基于深度学习的情绪识别的一般流程。这项研究的差异化就在这里。它坚持聚焦单模态把每一种信号的深度学习方法拆开讲清楚同时把评价协议和数据泄漏问题放在核心位置。更重要的是它试图构建一个跨模态的统一分析框架让研究者能够用同一套标准去审视不同信号的深度学习方法这在情绪识别领域是非常重要的。2.系统性综述的技术标准为了让综述更有说服力研究采用了系统性的检索方法。研究团队从多个主流数据库中筛选文献包括 IEEE Xplore、ScienceDirect、SpringerLink、Scopus 和 Google Scholar。检索关键词覆盖情绪识别、深度学习、面部表情、生理信号等多个方向时间范围锁定在深度学习快速发展的十年间。纳入标准非常明确必须是单模态研究必须使用深度学习或深度学习与传统方法的混合架构必须有可量化的实验指标。排除标准也很严格凡是多模态研究、纯传统机器学习方法、缺乏实验细节的文章都不会进入最终分析。筛选流程从标题和摘要开始再到全文审查最终形成一个结构化的数据提取表。提取维度包括数据集规模、预处理策略、深度学习架构、评价协议、泛化能力以及是否存在数据泄漏风险。这些维度构成了研究的分析骨架也让后续的技术解读更有逻辑性。3.情感识别基础从情绪模型到应用场景聊情感识别绕不开一个最基本的问题人类的情绪到底怎么被机器理解。研究界常用两种方式来描述情绪一种是把情绪拆成几个“基本类目”另一种是把情绪放进一个连续空间里用坐标来表达。前一种方式来自心理学家对人类表情的长期观察认为人类有一些跨文化的基础情绪比如愤怒、悲伤、快乐、惊讶、恐惧、厌恶。这些情绪像是人类共同的“表情字典”机器只要学会识别这些字典里的词就能理解大部分情绪状态。另一种方式更像是把情绪放进一个二维坐标系横轴是愉悦程度纵轴是激活程度。愉悦程度从负到正激活程度从低到高。这样一来情绪不再是离散的标签而是一个点的位置。比如高愉悦高激活的点可能对应兴奋低愉悦低激活的点可能对应沮丧。这种方式更适合处理生理信号因为信号本身就是连续的。说到单模态意思是只用一种数据源来识别情绪。面部表情是最直观的模态摄像头一拍就能看到肌肉的变化但问题也很明显人可以伪装表情甚至可以完全不动脸。生理信号就不一样了心跳、皮肤电、脑电这些东西骗不了人情绪一来它们就跟着变化。不过生理信号的采集比拍照麻烦得多需要设备、需要贴片、需要环境控制所以单模态的选择往往取决于应用场景。应用场景其实非常广。医疗领域可以用情绪识别来监测抑郁、焦虑甚至帮助医生判断患者的心理状态。教育领域可以用它来判断学生的专注度和压力水平让教学系统更智能。驾驶场景里情绪识别可以判断司机是否疲劳或紧张提高安全性。机器人和智能交互更不用说机器如果能理解人的情绪互动体验会完全不同。4.深度学习情感识别的技术谱系统一的五维分类法图2情感识别中使用的深度学习技术概述。要理解这项研究的技术框架可以把它想象成一个五维的坐标系统每个维度都对应情绪识别的一个关键环节。第一个维度是模态也就是数据源。面部表情属于视觉模态生理信号属于时序模态两者的特性完全不同模型设计也不同。第二个维度是数据集和情绪诱发方式。面部表情数据集通常是拍摄好的图像或视频生理信号数据集则需要实验诱发比如播放电影、音乐、图片让受试者产生情绪再记录信号。第三个维度是数据处理和表示。视觉数据需要裁剪、对齐、增强生理信号需要滤波、去噪、分段。不同的预处理方式会直接影响模型性能。第四个维度是深度学习方法论。视觉模态常用卷积网络时序模态常用循环网络或一维卷积最近也开始用 Transformer。不同架构适合不同数据结构。第五个维度是评价协议和泛化能力。主体依赖的评价方式通常性能很高但不具备真实场景的泛化能力。主体独立的评价方式更严格但性能往往下降明显。跨数据集的泛化更是难上加难。在这五维框架里有三条方法论轴线特别关键。第一条是特征工程和端到端的对比。传统方法依赖手工特征深度学习则倾向端到端。第二条是主体依赖和主体独立的差异。主体依赖容易过拟合主体独立才是真实世界。第三条是单数据集和跨数据集的差别。单数据集的高性能不代表模型真的强跨数据集才是检验模型的终极方式。5.单模态面部表情识别视觉深度学习的成熟体系面部表情识别是深度学习最早攻克的领域之一技术体系已经非常成熟。卷积网络长期占据主导地位从最早的简单 CNN到 VGG、ResNet再到各种轻量化网络视觉模型的演进几乎伴随整个深度学习的发展。后来出现了三维卷积网络把时间维度也纳入建模让模型不仅能看静态表情还能看表情变化的过程。再往后注意力机制开始流行像 ACNN、pACNN、gACNN 这些模型都试图让网络关注关键区域比如眼睛、嘴角、眉毛让识别更精准。最近几年视觉 Transformer 开始进入表情识别领域。它的优势是能捕捉全局依赖不像卷积那样只能看局部。不过 Transformer 对数据规模要求很高表情数据集普遍偏小所以它的表现有时不稳定。说到数据集FER2013 是最常用的它规模大但质量一般。CK 是实验室环境的数据集表情夸张容易识别。JAFFE 是日本女性的表情数据集规模小但干净。RAF-DB 是更贴近真实场景的数据集表情自然但难度高。面部表情识别有几个老问题一直存在。表情遮挡是最典型的比如戴口罩、戴眼镜、手挡脸这些都会让模型失效。光照和姿态变化也很麻烦侧脸、逆光、低光都会影响识别。数据集偏差更是普遍问题很多数据集的表情都很“标准化”不符合真实世界。评价协议不一致也会导致性能虚高有些研究用主体依赖的方式评估结果看起来很漂亮但换个受试者就不行了。6.生理信号情绪识别多模态时序深度学习的挑战区如果说面部表情是情绪识别的“显性渠道”生理信号就是情绪识别的“底层真相”。它们藏在皮肤电、心跳、脑电、肌肉活动、眼动、血氧变化里骗不了人但也难伺候。每一种信号都有自己的脾气深度学习模型要想吃透它们得有耐心也得有技术。生理信号的共同特点是时序性强、噪声多、个体差异大。模型不仅要能抓住时间上的细微变化还要能在一堆噪声里找到真正的情绪线索。更麻烦的是不同人的生理反应差别巨大同样的刺激有人心跳飙升有人纹丝不动。主体独立的模型在这里往往吃亏性能掉得厉害。下面我们按信号类型逐个拆解让你看到这片领域的真实复杂度。EEG脑电信号的高维迷宫脑电是情绪识别里最复杂的信号之一。它维度高、噪声大、伪迹多稍微动一下眉毛都可能让信号乱成一锅粥。深度学习在 EEG 上的主力模型是 CNN-LSTM、注意力机制和 Transformer。卷积负责抓局部模式循环网络负责时间依赖注意力和Transformer 则试图从全局视角理解脑电的动态结构。EEG 的预处理是个大工程。滤波、去伪迹、分段每一步都可能影响最终性能。主体独立的表现普遍不理想跨人泛化几乎是所有 EEG 模型的痛点。更严重的是数据泄漏。很多研究把脑电信号切成窗口但没有把同一个试次的窗口严格分开导致训练集和测试集共享信息。模型看起来很准其实是“提前偷看了答案”。研究里反复强调这种窗口切分是 EEG 研究里最常见的隐性风险。ECG心电信号的节律密码心电信号比脑电简单一些但也不算容易。它的主力模型是 1D-CNN、双向 LSTM 和CRNN。心率变异性是 ECG 情绪识别的核心特征深度学习模型往往能自动学到这些节律变化。自监督学习在 ECG 上开始展现潜力。因为心电数据难采集标注成本高自监督可以让模型先学“心跳的基本规律”再去识别情绪。评价协议对 ECG 的影响非常大。主体依赖的结果往往很漂亮但主体独立一上来性能就掉得让人心疼。GSR皮肤电的低维世界皮肤电是生理信号里最简单的模态之一。它维度低、结构简单CNN 就能搞定大部分任务。问题在于数据集普遍很小主体独立的表现也不稳定。皮肤电的优势是采集方便但缺点是信息量有限。它更像是情绪的辅助信号而不是主力。PPG光电容积脉搏的光影游戏PPG 是用光来测脉搏信号结构比心电更柔和。深度学习常用 CNN、双向 LSTM 和ResNet-BiLSTM 来处理它。很多研究会把 PPG 转成频谱图或小波图让模型从“图像”角度理解节律变化。GAN 在 PPG 上被用来做数据增强效果有时不错但也有风险生成的数据可能不够真实。remote PPG 是一个很有意思的方向它直接从视频里提取脉搏信号。听起来很酷但光照变化、运动干扰都会让信号乱掉模型要想稳定表现难度不小。RR呼吸信号的稀缺战场呼吸信号的数据少得可怜。研究者通常用 RVS 加 CNN 来处理它。呼吸节律确实能反映情绪但数据太少模型很难泛化。EMG肌电信号的噪声丛林肌电信号是噪声大户。肌肉活动复杂伪迹多模型要想从中找情绪线索得有强大的抗噪能力。常见方法是 CNN 加频域特征让模型同时看时域和频域。EOG / Eye Tracking眼动的行为密码眼动信号可以反映注意力和情绪状态。深度学习常用 LSTM 和 GRU 来处理它。也有研究把眼动序列转成类似文本的结构用序列模型来理解。问题在于数据集稀缺眼动设备也不算普及所以研究量不大。fNIRS近红外脑成像的高维挑战fNIRS 是一种用光来测脑部血氧变化的技术。它维度高、采样低预处理复杂。深度学习常用 CNN、LSTM-FCN 和 DBN 来处理它。主体独立的研究开始出现但数量仍然有限。fNIRS 的潜力很大但门槛也高。7.评价协议与数据泄漏当前研究最严重的隐性风险研究里最尖锐的批判集中在评价协议和数据泄漏。很多研究的高性能其实是“虚高”原因不在模型而在实验设计。主体依赖的评价方式让模型只在同一个人的数据上测试结果自然好看。但真实世界里模型必须面对不同的人主体独立才是硬标准。数据泄漏更是致命。重叠窗口、同一试次的片段同时进入训练和测试、没有按受试者划分这些问题都会让模型提前看到测试数据。性能被严重高估研究结论也随之失真。跨数据集泛化几乎没人做。模型在一个数据集上表现很好换个数据集就不行了。这说明模型学到的不是情绪而是数据集的特征。8.未来方向是从模型性能到系统可靠性的转向研究最后的观点很明确情绪识别的研究不能再停留在“准确率竞赛”。未来的核心目标是可靠性和泛化能力。标准化评价协议是第一步。必须统一主体独立的划分方式必须杜绝窗口泄漏。大规模、多主体、多场景的数据集是第二步。没有数据模型再强也没用。自监督学习和对比学习会成为关键技术。它们能让模型在无标注数据上学习底层规律提高泛化能力。Transformer 和轻量化模型也会继续发展。前者适合复杂结构后者适合实时应用。低研究度模态值得更多关注。呼吸、眼动、肌电这些信号虽然难但信息量独特。多模态融合是最终方向。单模态有局限多模态才能让情绪识别真正接近人类水平。未来的情绪识别不再追求“高准确率”而是追求“高可靠性”和“高泛化能力”。这是从模型性能到系统可信度的转型也是情绪识别走向真实世界的必经之路。