查看更多>>摘要：自从1948年经典信息论诞生以来,在其指导下,现代通信技术已经逼近了理论性能极限,例如信息熵H(U)、信道容量C=maxp(x)I(X;Y)以及率失真函数R(D)=minp((x)|x):Ed(x,(x))≤DI(X;(X)).长期以来,由于经典信息论只研究语法信息,限制了通信科学的进一步发展.近年来,研究语义信息处理与传输的通信技术获得了学术界的普遍关注,语义通信开辟了未来通信技术发展的新方向,但还缺乏一般性的数学指导理论.为了解决这一难题,构建了语义信息论的理论框架,对语义信息的度量体系与语义通信的理论极限进行了系统性阐述.首先,通过深入分析各类信源的数据特征,以及各种下游任务的需求,总结归纳出语义信息的普遍属性——同义性.由此指出语义信息是语法信息的上级概念,是许多等效或相似语法信息的抽象特征,表征隐藏在数据或消息背后的含义或内容.将语义信息与语法信息之间的关系命名为同义映射,这是一种"一对多"映射,即一个语义符号可以由许多不同的语法符号表示.基于同义映射f这一核心概念,引入语义熵Hs((U))作为语义信息的基本度量指标,表示为信源概率分布与同义映射的泛函.在此基础上,引入上/下语义互信息Is((X);(Y))(Is((X);(Y))),语义信道容量 Cs=maxfxymaxp(x)Is((X);(Y))以及语义率失真函数Rs(D)=min{fx,f(x)}minp((x)|x):Edx((x),(x))≤DIs((X);(X)),从而构建了完整的语义信息度量体系.这些语义信息度量是经典信息度量的自然延伸,都由同义映射约束,如果采用"一对一"映射,则可以退化为传统的信息度量.由此可见,语义信息度量体系包含语法信息度量,前者与后者具有兼容性.其次,证明了3个重要的语义编码定理,以揭示语义通信的性能优势.基于同义映射,引入新的数学工具——语义渐近均分(AEP),详细探讨了同义典型序列的数学性质,并应用随机编码和同义典型序列译码/编码,证明了语义无失真信源编码定理、语义信道编码定理和语义限失真信源编码定理.类似于经典信息论,这些基本编码定理也都是存在性定理,但它们指出了语义通信系统的性能极限,在语义信息论中起着关键作用.由同义映射和这些基本编码定理可以推断,语义通信系统的性能优于经典通信系统,即语义熵小于信息熵Hs((U))≤H(U),语义信道容量大于经典信道容量Cs≥C,以及语义率失真函数小于经典率失真函数Rs(D)≤R(D).最后,讨论了连续条件下的语义信息度量.此时,同义映射转换为连续随机变量分布区间的划分方式.相应地,划分后的子区间被命名为同义区间,其平均长度定义为同义长度S.特别是对于限带高斯信道,得到了一个新的信道容量公式Cs=Blog[S4(1+P/N0B)],其中,平均同义长度S表征了信息的辨识能力.这一容量公式是经典信道容量的重要扩展,当S=1时,该公式退化为著名的香农信道容量公式.综上所述,语义信息论依据同义映射这一语义信息的本质特征,构建了语义信息的度量体系,引入新的数学工具,证明了语义编码的基本定理,论证了语义通信系统的性能极限,揭示了未来语义通信的巨大性能潜力.
国家科技期刊平台
NSTL
万方数据