本书被教育部研究生工作办公室推荐为全国研究生教学用书。 本书从基本概念、基本方法和基本应用三个方面较系统地介绍了信息理论。全书共分9章。除第1章概述和第2章基本概念外，第3章至第6章分别介绍信源的冗余度压缩编码、熵压缩编码和信道的容量与信道编码。第7章讨论最大熵与最小鉴别信息原理及其应用。非统计意义下的信息理论在第8章中讨论，内容包括组合信息、算法信息与通用编码。最后在第9章中简要介绍了通信网中的信源编码与信道容量问题。书末附有习题。 本书的特点是既重视基础理论，又面向实际应用。既讲述成熟的原理又适当介绍发展中的前沿课题。本书可供高等学校与科研院所作研究生教学用书使用，也可供有关科技人员在学习专业基础理论时参考。

自香农(C. E. Shannom)提出信息理论以来，在大学中开设信息理论课已有近半个世纪的历史。尽管课程的中心内容都离不开香农提出的基本概念、方法和定理，但课程设置的对象、目的、课程内容的组织、取舍以至讲授的方式方法都因校、因时、因人而异，存在众多显著的差别。 信息理论涉及两个学科是造成上述差别的主要原因。在数学界，信息理论被看成是概率论的分支，是遍历性理论的分支，一个涉及不变变换理论的分支。所以在数学系，这一课程是为统计数学专业的学生开设的。而在工学界，信息理论被看成是通信理论的一部分，是通信的统计理论，是数字通信的基础理论。因此在电气或电子工程系内它是为通信专业的学生开设的。了解同一名称的课程在不同系开设时的差异不但是有益的，而且是必要的，这可使授课者或学习者都能把他们的精力有效地放在他们关心的问题和关心的方向上。这一本书是从工程应用的角度编写的，所以我们在信息论前加上应用两字，以明确本书的性质和特点。 其次，正如汉明(R. W. Hamming)所说，从逻辑上讲是编码理论导致信息理论，而信息理论又给出编码的性能极限。因此信息理论常和编码理论放在一起讲授，甚至把课程称为信息与编码理论。但目前这样做时其中的编码理论往往只指基于近世代数的信道编码构造理论。由于迄今在信源编码方面尚没有一个统一的构造性理论，因此目前还难于开设一个在内容上组织均衡的本来意义上的信息与编码理论。基于这一考虑，本书对信道编码的构造理论仅作简单的介绍，也不把编码理论四字纳入教材名称，以明确本书完全以信息理论为中心。 香农提出的信息理论是一种基于统计意义上的信息理论。这一理论对通信技术的发展产生了持...