香农信息论的核心，信息论与它的奠基人香农博士

香农本身在24岁时就获得了诺贝尔协会的美国工程师奖，同时被普林斯顿大学聘请为高等研究员。在这个时候与香农共事的是相对论的提出者爱因斯坦和美国另一位科学家冯诺依曼。

香农还为二战做出了重要的贡献，二战期间，香农研究炮火的控制和密码学，为盟军提供了好多情报。在这个这个过程中香农发现了信息论的基础感念和原理。香农是第一个用数学上的概率知识来研究密码学和通信理论的人。

二战结束后，在1948年，香农发表了二战期间他对密码学和通信问题的研究的成果。这也就是后来我们学习的信息论的基础。

2、香农定律

在香农之前，人们不知道怎么来描述信息，度量信息更是无从谈起。香农借用了物理学中热力学的感念熵来描述信息的不确定性，并且将信息量和熵联系了起来。这个还得到了爱因斯坦的认可。香农指出，如果想要消除不确定性那么就得引入信息，这也是我们不断的在浏览新闻的原因。因为我们每时每刻在面对着不确定性。浏览信息能够帮助我们消除不确定性。当然最终能否帮助我们达到我们的目的，也不见得，它只是提供了一种可能性。

在信息论中，最重要的是香农的两个定律。香农第一定律又称香农信源编码定律。

其意义在于将信源内的符号也就是信息变成任意通信的编码，而当这种编码尽量地服从等概率分布时，每个编码所带的信息量达到最大，进而能够提高整个通信系统的效率。

香农第二定律定量地描述了一个信道中的极限信息的传输率和该信道能力的关系。在香农之前人们不懂得信道能力的概念。比如在设置无线电台的时候，大家不知道为什么两个电台的频率太接近了就要产生干扰。香农第二定律回答了这类问题。香农第二定律指出，当两个电台频率太接近时，其实带宽就非常窄了，信道的容量就非常低了，当它低过传输率时，就会出现信息的传输错误，其具体表现就是有干扰而听不清楚的内容。香农第二定律提出以后，为整个通信行业奠定了理论基础。

值得一提的是，信息论中有一个最大熵原理，这个原理主要讲的就是对一件事情进行最大概率的预测。大意就是在对未知事件发生的概率分布进行预测时，我们的预测应该满足全部的已知条件，这样尽量做到客观，而不是我们平常依靠的那种主观猜测。我们平时说的不要把鸡蛋放在一个篮子就是这个道理。我们不要去赌一件事情发生的概率，而是尽量做大最大化。这也是香农定律的应用。

总结：如果说工业时代的基础是建立在牛顿定律的基础上的，那么我们的信息时代是建立在信息论的基础上的；如果说工业时代的奠基人是牛顿，那么信息时代的奠基人是香农。