Rethinking Modern Communication from Semantic Coding to Semantic Communication
研究背景
· 研究问题:现代通信系统设计往往追求高比特精度和低比特传输,但这种做法可能导致信息浪费和重要语义的丢失。随着通信技术的发展,特别是在5G和6G时代,语义感知和高效的通信方案变得越来越重要。
· 研究难点:现有的语义感知通信技术存在一些缺陷,例如对变化的信道状态简化处理,以及在语义表达上缺乏适当的度量标准。这些难点限制了语义通信系统的性能和应用范围。
· 文献综述:文章回顾了语义信息理论的进步,以及近年来基于机器学习的语义感知通信研究,包括语义编码和语义通信两个分支。这些研究为现代语义感知通信结构提供了理论基础,但仍然存在一些未解决的问题和挑战。
语义编码集中于可靠和有效的传输通过减少位流的长度或获得更高的位精度率,语义通信是针对传输语义意义(通常不是为更高的位级精度,但语义或目标执行目的),如图所示。尽管它们在文献中经常被同样的对待,语义编码以在接收端追求简单的递归,语义通信系统仍然需要适当的语义度量来引导它走向语义级别的表达式(即,对学习目标的重新设计)。
语义编码与语义通信问题
主要针对的问题:
• 为了通信的目的,无线通信的关键组成部分——变化的信道状态被显著地简化为一个固定级别的AWGN状态,并且没有仔细考虑(我们称之为通信问题)。
• 对于语义目的,现有的工作要么依赖NLP(自然语言处理)模型来获得语义感知的表示能力,而不是仔细重新考虑语义传输的最终目标,要么对于大规模泛化(我们称之为语义问题)过于初步。
· 语义编码:文章提出了一种基于置信度的联合语义-噪声编码(JSNC)机制,该机制能够根据变化的信道状态和具有不同语义结构的句子自动调整语义表示的深度。JSNC与现有的语义编码方法有显著不同,它旨在解决通常被忽略或简化的可变信道情况,并发展了一种可解释的机制,允许理解提出的解决方案为何是语义感知的,以及它如何解释语义含义。
· 语义通信问题:文章进一步提出了一个直接从语义相似度学习的语义通信系统,而不是依赖于语义盲目的交叉熵(CE)损失或均方误差(MSE)。语义相似度可以是任何任务指定的,甚至是不可微分的。
置信度机制
· 置信度机制:文章提出了一种基于置信度的机制,用于评估语义表示的质量并指导语义编码和解码过程。该机制通过可学习的置信模块(神经网络)控制消息嵌入在编码器和解码器中的多次蒸馏过程,从而赋予收发器适当的语义提取能力,以适应不同的句子和信道情况。
语义通信范式
· 强化学习(RL):文章利用强化学习(RL)为语义通信范式提供动力,使系统能够传达语义信息,而不是追求比特级的精确度。这种范式赋予系统在面对噪声和干扰时,能够保持语义信息的完整性和准确性。
· RL不光对可微
实验结果:
实验结果表明,提出的基于置信度的联合语义-噪声编码(JSNC)机制在AWGN(加性高斯白噪声)信道和相位不变衰落(FIF)信道中均显示出优越性。例如,在10dB的AWGN信道下,提出的蒸馏过程(即TF+Conf)实现了0.038%的字错误率,比Transformer基线(即TF)低24%,显著低于传统的单独编码-解码方法,如5位固定长度的Reed-Solomon(RS)码。在FIF信道下,模型在复杂信道状态下仍表现出鲁棒性。此外,提出的SSC-ND(相似性目标语义保持通信)方法能够跳出初始局部最小值,并在训练过程中稳定收敛,这证明了该创新方法的可行性。在实际通信场景“说些什么”中,提出的SSC方案得分约为2.3,显著高于传统基线的1.2分。这些结果表明,提出的语义通信方法在真实场景中部署时也是鲁棒和有前景的。
此外,实验还展示了在句子传输任务中,通过最小化语义级距离,模型能够发展出与传统模型显著不同的有趣模式。例如,在表1中,提出的模型更好地捕捉了关键意义,如“理解”和“通信系统”,而基线模型严重扭曲了我们想要表达的内容。即使在极端条件下,系统SSC-ND也能展现出鲁棒性能,并更好地捕捉关键思想。
技术贡献与新见解
· 技术贡献:文章不仅提出了新的概念和优势,还建立了联合语义-噪声编码(JSNC)问题的置信度蒸馏机制和强化学习(RL)驱动的语义通信范式,为下一代语义感知通信提供了新的技术贡献。
· 新见解:文章提供了新的视角来理解语义在语义感知编码和通信系统中的处理和表示方式,并验证了这样做带来的显著好处。
总体结论
· 语义感知通信的重要性:文章强调了在5G和6G时代,语义感知通信的重要性,以及它在提高通信效率和实现目标导向通信中的潜在作用。
· 技术进步:文章提出的技术贡献,如JSNC机制和RL驱动的通信范式,为语义感知通信提供了新的技术路径,有望在未来的通信系统中得到应用。
· 未来展望:文章对语义感知通信的未来进行了展望,指出了信息开销、语义安全和实施成本等关键问题和挑战,为后续研究提供了方向。