前言 信息论与编码是一门比较理论化的科学，涉及大量的数学分析、论证和建模，对数学的要求高，涉及概率论、线性代数、微积分等。对于不善于领悟的同学，可能会觉得它枯燥无味；而对于善于领悟的同学，则会有如鱼得水的感觉。信息论是对信息问题的抽象，应用面和涉及面广，许多问题都可以归结为信息论问题，但是由于其中涉及数学建模太多，局限性也多。这对于学生特别是对于本科生而言，是具有一定难度的。当今的某些课程（包括数学等）经历课时数的压缩，课时也有所缩短。在这样的情况下，针对昔日本科生的教学大纲和教材对于经过扩招以后的大学生而言，显得更加枯燥无味、艰涩难懂。为了促进学生对于相关数学问题的理解，我们将信息论与编码中的关键性、全局性的问题进行了提炼，设计了一些全程问题，并且将复杂的问题分解为若干问题及其锦囊，通过逐步提示和启发的方式来促进学生的理解。当然对于一些问题的分解并不太让人满意，权当作为抛砖引玉。 虽然直观地看，书本上的数学公式枯燥无味，但是如果能够善于思考和洞察问题的本质，就会发现数学问题是那样美妙、有趣，数字的规律有时候也是严整有序的。 根据学生对以往的信息论与编码类教材的反馈意见，我们决定在前人的基础上改进信息论与编码教材，同时实践我们在一些教改论文中提出的教材改革、教学改革和提高学生创新能力的建议。我们在教学中发现学生有应试习惯，许多学生并不是通过自己的理解去做题，而是依葫芦画瓢，按照类似的题型去套，因此在课后习题中增加了一些比较灵活、自由的题目。本书第1版有些地方存在不尽如人意之处，也存在一些笔误，本次再版力图进一步进行改进，将编者分别放在初学者、自学者、研究人员、工程应用人员的角度来审视教材的合理性。编者在编纂的过程中始终记住去模拟一个读者的心路历程，扪心自问“读者会有什么样的疑问呢”，并且力图去解答或启发。 我们在这本书中试图比前面版本更好地做到以下几点： （1） 充分重视启发性。本书将复杂的数学证明简化为若干小问题，变成若干锦囊以便于学生理解问题。通过极端的例子来启发学生发现和理解问题,并通过现实中经常用到的例子来加强理解。 （2） 重视实用性。除了理论外，本书还对各种编码的具体实现中的问题进行了分析，并且给出了一些软件实现的具体指导，避免教材内容过于学术化，而没有考虑学生今后在工作中的实际需求。对于信息论与编码技术在现实中的各种应用书中也有不少介绍和展望。 （3） 充分结合我们的研究和教学成果与经验，根据我们的分析和研究，提供一些新的理解或者证明相关结论的方法。 信息论与编码（第2版）第2版前言（4） 注重各知识点的条理性、衔接性、前后关系和因果关系。 （5） 详细叙述与方向指引并重。“吾生也有涯，而知也无涯。以有涯随无涯，殆已。”知识是无涯的，与此相对应的是教材篇幅是受到限制的，学生的时间也是有限的，即有涯。如何在有涯和无涯之间建立很好的平衡是一个教材的编者必须充分考虑的。在当今强调宽口径教学的背景下，一方面要突出重点，针对具有理论和应用价值的内容一般进行详细叙述；另一方面，由于篇幅所限，不可能面面俱到，在教材中指明学科的脉络、发展方向和前沿，对于某些应用面有限且烦琐的尖端枝末性知识，有可能只做简单介绍，但会推荐相应的教材和资源，以便读者可以根据指引找到相关资料，当然考虑到其他因素，也有例外。本书还提出了一些具有潜力的新问题研究方向。 （6） 传授知识与传授方法并举。通过举例等让学生体验到利用新方法来解决实际问题的途径。以教材的课后习题诱导学生去探索现学现用甚至自己去搜集资料来解决问题的方法。本书不仅致力于让学生学会信息论与编码的相关知识，在许多时候通过启发的方式让学生学习信息论的基本方法，以及新理论的创新方法和技巧。在值得学生深思、借鉴和联想的地方做一定的标记和启发性提问，并提供通用的和针对信息论与编码的学习和研究的方法、技巧。 （7） 对于重要的关键词提供对应的英文术语，达到一定的双语效果，便于读者进一步阅读英文文献。 （8） 学术性与通俗性共存。在两者之间保持平衡，避免教材的曲高和寡与经院化，也避免教材一味追求实用却缺乏理论深度。目前一些教材存在着学术性很强但是缺乏通俗性的弊端。编者将更多地站在学生的角度去编写教材。第一，在编写教材时，考虑读者的基础，尽量对于专业术语给予解释。第二，不要采用模糊不清的表述，宁可多写，也要把问题写清楚；对于可能存在歧义的表述，通过各种方式让歧义消除，语意明确。为了达到通俗易懂，在一些地方不避烦冗，对于比较专业和自学能力强的读者，可能会觉得有些啰嗦，但这是为了表述得更加明确。第三，尽量少用抽象空洞的表述，同时配备通俗易懂的实例或者图表。第四，对于难以理解的问题，用形象的例子或者比拟来启发思维。第五，在描述问题时避免跨度太大或者跨越某些知识而造成理解上的困难，达到无须教师讲解依然具有很好可读性的效果，便于自学。第六，内容安排上要考虑实践中必须解决的一些问题，并且考虑现实中的各种因素。第七，一方面减少了某些意义不大、非常繁杂且数学推导过多的内容，但是同时也用一些启发式锦囊来引导读者自悟。对于较为复杂的问题，尽量同时给予专业性和通俗性表述。 （9） 合理设计排版布局。为了保证对于不同读者和学生的适用性，并显示出教材内容的层次性，对于不同性质的内容采用不同的字体。对于比较难的选学内容，在其标题后加*号；对于一些启发性和评价性的内容、解题指导以及理论应用于实际方面的讨论内容、感想、启示以及启发性提问采用楷体；重要的内容采用加粗字体；必要的背景阐释和补充说明采用仿宋字体。 （10） 重视对创新能力的激励和培养。第一，在合适位置预留读者发表自己看法的空间。为了启发和唤醒学生的创新思维，在教材的适当位置（比如编者认为某些内容还有很大的创新空间时）预留读者自己思考和创新的空白位置，并且用文字标示出来提醒读者。在描述具有启发意义的创新内容时，对于相关内容的重大创新给予点评来启发读者进行创新，并且在章节的末尾或者适当位置预留空间让读者自由表达思想，如可以容纳新思想、新假想、未被证实或未被完全证实的想法，以及简洁但是有用的想法等，或者让读者可以评阅、提出自己的困难与添加自己的观点、建议和改进意见，这样的提示有利于读者发挥主观能动性和养成独立思考的习惯，也有利于教师或者编者将这些学生的评阅和观点加以整理，以便于修改和完善教材。第二，信息论的许多模型都有自己的前提，是有局限性的，在描述编者认为非绝对正确的内容时,通过非肯定的描述，避免让读者对已有的理论产生正确无疑的看法，从而鼓励学生放开眼界，发散思考，甚至提示学生去发现这些潜在的前提。 （11） 充分重视学生的数学基础。除了学生必须具备的高等数学、线性代数和概率论的基础外，对于其他的数学基础会在相应章节简要提及。教材的编写注重通俗性和易读性，让数学基础差的同学在没有教师指导的情况下能够自学，特别是需要考虑扩招带来的学生基础的影响。 （12） 合理地设计习题。由于创新能力、自学能力和动手能力在产、学、研结合教育中的重要性，因此教材的习题也要考虑激发、提高或者检验学生的创新能力、现学现用能力、自学能力和动手能力。除了传统的答案相对固定的习题外，还应当有答案开放、促进思维发散的习题，让学生展开思维的翅膀去创新。在习题中引入了一些未使用书本中的概念描述的现实问题，促使学生现学现用，增强学生举一反三的能力，鼓励学生结合信息论去思考现实中的各种问题。 （13） 先立后破。引导学生进入信息论的模型中，进而接受和相信信息论。在可能走向迷信的时候，打破这种迷信。在教材的最后，才开始讨论信息论的前提条件，让读者知道其局限性。 （14） 对于一些比较困难的内容进行简化，仅仅提及相关的结论和基本的原理。 （15） 在将科研成果融入教材的同时，试图化解教学之易与科研之难的矛盾。本书在将许多科研成果融入教材时尽量采用容易理解的方式简化相关内容。 本教材依然存在以下问题： 对于信息论的各个模型和定义，有一些未明确说明的假定。在将具体的理论转向不同应用情形的时候，也存在一些未明确说明的问题，例如是否适用的问题。例如，当一个定理对单个符号适用时，将其转向应用于符号序列，没有说明其适用性。这是读者在阅读信息论与编码类教材时需要注意的。本教材对于其中一部分给出了说明，但是没有全部覆盖。 在本书的编写过程中参考了较多信息论与编码方面的教材、专著、论文和网络资源等，网络上关于信道编码的一些匿名的讨论都非常生动，具有启发意义和前瞻性，在此笔者对这些作者深表感谢。为了减少歧义，本书对一些题目和知识的条件进行了明确的阐述，对于可能不妥的说法也进行了改进，但是这些改进也可能存在不当之处。 信息论面对的现实中真实的模型、系统、对象和参数都是极其复杂、多样化和不确定的，在信息论中是存在许多简化和忽略的，这造成某些理论受到限制，并不普适，也不唯一，有些教材也存在不一致的说法。在本教材中，编者尽量对一些模糊的对象加以明确，对于一些前提加以限定，但是有时候鉴于考虑得越复杂、越细致就越会导致烦琐化和复杂化，因此有些地方依然保持现有教材的说法。 在不同的教材中，有些定义、术语、分类和划分等存在一定的不一致、不统一、不确定的情况，有些描述也未必严谨，有些内容本身也存在模糊性，有些划分要么过于庞杂，要么存在疏漏，甚至有些还存在重复现象。在本教材中采用以下原则： 列举别名、明确问题、理清脉络、解释分歧、回避歧义、避免繁杂而无意义的内容，但是这些原则在针对实际情况时也存在欠缺，尚未做到完全令人满意。 本书力图做出多方面的改革和改进，希望这本书能够“上达思想与方法，下及实现与应用”，针对一些普适性的思想和方法在更广阔的范围内更深远地启发读者，同时也让学生知道如何学以致用，希望读者能够通于书内，达于书外。但是这些变革总是存在一定的难度，一部优秀的教材应该融合产、学、研，编者在有些方面心有余而力不足，加上时间有限，可能存在一定的欠缺。 在学习中，方法是非常重要的，甚至比书本上的死知识更重要，建议多读数学家和密码学家的故事，比如香农、王小云等。知识的启发价值可能远远超过知识的直接价值。这门课程的学习相对于其他的课程显得比较艰深抽象，需要较好的数学基础，固然做习题也是需要的，但这可能更多的是应付考试，而对于真正掌握和进一步应用信息论与编码的理论则意义不大，它最重要的还是理解。学习如果仅仅是会依葫芦画瓢，显然是不够的。著名数学家和教育家波利亚对学习的最佳途径的总结是： “学习任何知识的最佳途径是由自己去发现，因为这种发现理解最深，也最容易掌握其中的规律、性质和联系。”我们也试图启发学生去发现和洞察问题。 书中有些地并没有用严格的方式进行非常详尽、确定的描述，一方面是由于篇幅有限，另一方面也是希望减少公式和完整的灌输，而是通过一些不确定的文字和比喻性描述，给予读者更大的启发和想象空间。书中介绍的许多算法可能在现实中不会使用，但是它们给予我们的启迪将是另外一种财富。有些方法虽然不常用，但是对于理解基本概念和后面的知识有帮助，我们也会使用较大的篇幅加以介绍，比如线性分组码。 本教材添加了一些实际应用方面的知识，也涉及许多思想与方法，相比一些教材更“厚”。在教学中如果课时受限，要根据需求合理取舍，并将一些内容留给学生自学。 根据编者的经验，自己独立去想通一个问题，或者实在想不通的时候看一些书本上的证明再继续独立思考，可能比完全看书本上的分析与证明效果更好。这一点可以总结为“学习得来终觉浅，绝知此事要自悟”。 编者认为，信息对于人类的利弊是中立的，它只是提供给我们更多的选择。但是这种选择到底是有益还是有害，人们是否会利用这种选择来危害社会，这在很大程度上是取决于使用信息的人。所以无论科技如何发达，永远都不能忽视人的道德问题，坏人掌握高科技，无异于助纣为虐。正如复旦大学校长所言： “无德学生越有知识可能越祸害社会。”对于学生的道德要求应高于学业要求，德育更重于智育。 现在的大学教学中往往忽视德育，轻视方法与思想，而更侧重理论,但实际上这三者的重要性是递减的。 国外的一些大学教育水平为什么能够高出国内很多，我们参考国外的教材和教学安排以及习题就可以得出一部分答案： 他们学生的压力更大，学习内容更多，但是教师讲得少，学生自学的内容多，题目更加灵活；他们的平时成绩在综合评价中的占比往往超过70%，平时的习题作业任务也非常重，而且非常严格；另外，他们的机制保证了学生更加勤奋，教师的要求更加严格。而在国内，在学习专业知识的大学阶段却反倒松懈下来。提升大学教育质量离不开严格管理，国外的做法值得借鉴。 本书共分9章。第1章是绪论，介绍信息、通信系统模型、离散与连续等内容。第2章介绍信息的统计度量，也是信息论的基本概念，包括自信息量、互信息量、平均自信息（熵）、平均互信息等，这一章是后续章节的基础。第3章讨论信道及其容量。第4章主要介绍编码的基本概念与无失真信源编码。第5章讨论信息率失真函数与限失真编码。第6章讨论信道编码。第7章讨论加密编码。第8章分析香农信息论的局限性，并且对信息论的发展进行展望。第9章介绍一些常用编码的实现方法和信息论的应用。 本书第2版在前一版的基础上进行了改进，控制篇幅是改进的一个主要原则，特别是对第6章和第9章进行了重新编写。许多地方进行了压缩，但是也依然对最新的理论和应用前沿技术进行了更新，这些更新也基本上是简要介绍，篇幅不大。 当然，本书详述的某些内容可能并不一定直接应用于实际中，但是它们比较容易理解，而且比较基础，对于理解相关的理论和应用具有价值，也是大多数相关教材沿袭的。对于一些实际应用的或者被认为有应用前景的理论和技术，考虑到篇幅等因素，我们可能只做简单介绍。 作者要特别感谢清华大学出版社的信任与支持！ 本书在编写过程中得到广西高校中青年教师基础能力提升项目（编号2017KY0211）、桂林市科技开发项目、广西密码学与信息安全重点实验室的大力支持，在此一并表示感谢。 本书的前修课程包括高等数学、概率论和线性代数，离散数学（数论、近世代数）也是某些编码理论的基础，本书在相关章节简要提及了这些基础。 本书试图更多地从理解的角度来启迪读者，也提出了许多具有启发性的思考问题，希望能够把这本书变成启迪思维、开启智慧的素材集，但是编者的理解是有限的，在信息论与编码领域的理论和实践方面存在一定的欠缺。限于作者水平有限，加上工作繁忙，编写时间受限，来不及对相关领域的论文、专利做很好的分析评述，书中错误和不当之处在所难免，欢迎各种批评和建议。我们倡导面向就业的教学方式，在教材的编写上也希望能够进一步贴近研究和应用的实践，我们欢迎（但是不限于）以下反馈意见： （1） 研究人员对教材的前瞻性提出批评指正。 （2） 学习过信息论与编码相关课程的毕业生在从业多年后对教材的实用性进行评价。 （3） 还未学习过信息论与编码相关课程（已经学过高等数学、线性代数和概率论）的本科生评价教材的通俗性和易读性，指出教材中跳跃度较大、艰涩难懂的地方。 （4） 教师和学生对教材中出现的问题给予批评和指正，对教材的优缺点进行评价，针对教材中的一些改进点提出批评意见。 （5） 产业界和广大的相关行业从业人士就教材的实用性提出自己的意见，以增强课程与实践的衔接。 本书做了一定的教材编写的创新示范和尝试，希望能够抛砖引玉，推动教材的改革。由于本教材的应用专业限制，在时间许可的情况下，我们可以采用类似本教材的编写方式来编写《线性代数》（这一计划很早就有了，一直没有足够时间，拖延至今），以在更大的范围内进行摸索，希望更多的图书和教材都能更好地注重图书本身的价值，包括理论、应用、思想、方法等多维度的价值。另外还要为读者提供便利，使图书通俗易懂，从理论到应用无缝衔接，易于自学。 在一个复杂的工程环境中，充分条件、必要条件、充要条件往往是很难存在的，许多结论也有不确定性。同样在本书中的一些结论中如果没有加“可能”之类的不肯定修饰词，应该是忘记了，敬请读者注意。 王勇2022年5月于桂林电子科技大学

• 暂无课件
• 样章下载
• 暂无网络资源

扫描二维码
下载APP了解更多

版权图片链接