自香农(C. E. Shannom)提出信息理论以来，在大学中开设信息理论课已有近半个世纪的历史。尽管课程的中心内容都离不开香农提出的基本概念、方法和定理，但课程设置的对象、目的、课程内容的组织、取舍以至讲授的方式方法都因校、因时、因人而异，存在众多显著的差别。

信息理论涉及两个学科是造成上述差别的主要原因。在数学界，信息理论被看成是概率论的分支，是遍历性理论的分支，一个涉及不变变换理论的分支。所以在数学系，这一课程是为统计数学专业的学生开设的。而在工学界，信息理论被看成是通信理论的一部分，是通信的统计理论，是数字通信的基础理论。因此在电气或电子工程系内它是为通信专业的学生开设的。了解同一名称的课程在不同系开设时的差异不但是有益的，而且是必要的，这可使授课者或学习者都能把他们的精力有效地放在他们关心的问题和关心的方向上。这一本书是从工程应用的角度编写的，所以我们在信息论前加上应用两字，以明确本书的性质和特点。

其次，正如汉明(R. W. Hamming)所说，从逻辑上讲是编码理论导致信息理论，而信息理论又给出编码的性能极限。因此信息理论常和编码理论放在一起讲授，甚至把课程称为信息与编码理论。但目前这样做时其中的编码理论往往只指基于近世代数的信道编码构造理论。由于迄今在信源编码方面尚没有一个统一的构造性理论，因此目前还难于开设一个在内容上组织均衡的本来意义上的信息与编码理论。基于这一考虑，本书对信道编码的构造理论仅作简单的介绍，也不把编码理论四字纳入教材名称，以明确本书完全以信息理论为中心。

香农提出的信息理论是一种基于统计意义上的信息理论。这一理论对通信技术的发展产生了持久和深刻的影响，但它对信息技术的其他一些方面，如人工智能等，则很少有理论指导作用。所以自香农以来，人们对更广泛意义下的信息的研究一直没有停止。迄今为止，较为成熟的研究成果有：E. T. Jaynes在1957年提出的最大熵原理的理论，S. K. Kullback在1959年首次提出后又为J. S. Shore等人在1980年后发展了的鉴别信息及最小鉴别信息原理的理论，A. N. Kolmogorov在1965年提出的关于信息量度定义的三种方法——概率法，组合法，计算法，A. N. Kolmogorov在1968年阐明并为J. Chaitin在1987年系统发展了的关于算法信息的理论。这些成果大大丰富了信息理论的概念、方法和应用范围。首先，它把信息的统计定义进一步推广并对非统计意义的信息给出了一种量度。其次，信息量度的意义已不再限于信源编码和信道编码。信息的量度已系统地发展成为信息处理的一种准则，这一准则在信息技术领域正逐渐取代代表功率的最小均方误差准则。可以认为信息理论已从通信的数学理论发展成为信号与信息处理的基础理论。基于这一考虑，本书对上述列举的研究成果也作了系统的介绍。

本书共分9章，第1章介绍信息论和信息论方法。通过这一章读者可以明了在学习信息理论后什么是他们可以得到的，什么是不能得到的，以及为了他自己的学习目的，他应该如何学习。第2章介绍信息论的基本概念：熵、互信息和鉴别信息。这是学习本书的基础。第3章至第6章介绍香农的信源编码和信道编码理论，同时对实用的信源编码方法(如矢量量化、线性预测编码、变换编码)和信道编码方法(如线性码等)作简单的介绍。主要目的是说明信息理论如何应用于实际以及理论与实际之间存在什么差距。第7章介绍最大熵与最小鉴别信息原理。这一章具体体现了熵与鉴别信息作为准则在信息处理中的作用。非统计意义上的信息理论在第8章中介绍。这一章同时给出了通用编码方法的代表——LempelZiv编码方法及其性能界。第9章介绍网络中的信源编码与信道容量问题。这些内容主要针对以电路交换为基础的通信网，但不适用于以分组交换为基础的通信网。在以分组交换为基础的通信网中信息传输的载体——信号，除了在信号幅度上受到干扰外还在信号传输的延迟时间上受到干扰，这两者都对信号携带的信息量起到限制作用。它们的分析方法与这一章介绍的方法差异很大，限于篇幅，这部分内容在书中未作介绍。

作者希望通过这9章的内容能为读者提供有关信息理论的比较全面和比较系统的知识。在全书各章的叙述中作者都尽可能地使基本概念和基本方法的描述清晰易懂，为此省略了某些数学细节。少数不涉及基本概念且较深入的内容在目录中用*号标出。全书除第1，2，8章外其余各章都有一些内容涉及信号处理和通信技术，这对了解信息理论的应用是有益的。为此学习本书时除了需要有概率论、随机过程的必要基础知识外，还需具有信号处理和通信技术方面的基础知识。

我国已故院士常迥教授，信息科学界的前辈周炯院士，吴佑寿院士以及知名学者仇佩亮、章照止、钟义信、周荫清、孟庆生、王新梅、贾世楼、金振玉、方军、姜丹等都在信息理论方面有很好的著作或教材。国外学者如T. M. Cover, T. Berger, R. E. Blahut, R. G. Gallager等也都有很好的专著或教材。作者在编写此书时得益于早期对他们著作的学习，在此顺表谢意。

作者感谢清华大学电子工程系对作者的信任，使作者有机会多年担任此课程的讲授。本书正是在这一基础上写成的。

作者还感谢艾红梅、邓北星及郁杨在整理出版本书中的帮助。

本书不当之处，敬请来函赐教。