SIEMENS西藏自治区林芝市（授权）西门子代理商——西门子西南总代理

香农三大定理

香农第一定理（可变长无失真信源编码定理)

香农第二定理（有噪信道编码定理）

香农第三定理（保失真度准则下的有失真信源编码定理）

一般语境下，香农定理主要指香农第二定理(有噪信道编码定理）。

从一篇传奇硕士论文说起

1937年，一位22岁的年轻人从麻省理工学院跑到了华盛顿特区进行他的硕士论文答辩。在美国绝大部分硕士生其实不需要发表论文就可以获得学位，即使选择发表论文的那一小部分硕士生，其论文水平也远远无法和博士论文相比。而这位年轻人奔赴千里只为一场答辩就显得格外引人注目。而这个年轻人，就是香农。

克劳德·艾尔伍德·香农（英语：claude elwoodshannon，1916年4月30日－2001年2月26日）

他在硕士论文《a symbolic analysis of relay and switchingcircuits》中将布尔代数应用于电子领域，能够构建并解决任何逻辑和数值关系，被誉为有史以来具水平的硕士论文之一。这个论文开创了一个时代，香农因此被认为是数字计算机理论和数字电路设计理论的创始人。人类从此进入「数字化」时代，也为电子计算机的出现奠定了基础，现在的计算机是0和1的世界，其理论基础就可以追溯到香农这篇论文。当然，这篇论文并非讲香农定理，但将布尔代数应用在信息领域，为香农定理的出现铺了一条路。

毕业后，他在贝尔实验室从事加密通信研究。在那里，他发现了，密码学其实和通信在原理上是一回事，并提出了通信的数学原理，于是有了后面的香农三大定理。

香农第一定理（可变长无失真信源编码定理)

保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即d'<=d.设r(d)为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度d>=0，和任意小的a>0，以及任意足够长的码长n，则一定存在一种信源编码w，其码字个数为  ，而编码后码的平均失真度d'(w)<=d+a。
在1948年，他32 岁时，发表了划时代的论文——《a mathematical theory ofcommunication》。他在论文中提出了比特单位，证明了信息是可以被量化的，奠定了现代信息论的基础。在论文里，他阐述了如何在保证准确率的前提下用数字编码对信息进行压缩和传输。在说如何压缩前，我们看一个例子，来说说信息冗余这个概念。我们都学过文言文，我们都有这种感觉：文言文很精简，但不好读懂。而白话文很啰嗦（信息冗余），但好懂。一个语言如果带有较多的冗余信息，会好理解。其他信息也是如此，那我们如果想对信息进行压缩，去掉冗余信息，是否存在一个压缩得不能再压缩的极限值？香农第一定理就回答了这个问题。香农第一定理给出了在无损情况下，数据压缩的临界值。不要小瞧这简简单单的一句话，正因为给出了理论上的下界，所以才会产生各式各样的编码办法。在无损压缩的情况下，压缩任何东西所需要的比特数都大于香农第一定理所给出的值。可以说，任何压缩方法都是在这个圈子里兜兜转转，是跳不出来的。