jake
对
Elements of Information Theory
的书评
发表时间:2010-06-30 14:06:36
刚刚读完这本书,的确是一本好书,把信息论的主要思想,以及这些思想在包括博弈、金融、数学、物理、算法复杂性等理论的应用都讲出来了,而且能够把信息论之中蕴含的深刻科学思想讲出来,的确是一本好书。
但我认为,这本书仍然存在以下一些不足之处:
1、这并不是一本入门级别的书
不知道评价这本书的其他朋友怎么看,不知道各位都是什么级别的人士。但是,我作为一名也算是理工科背景出身的高校教师,仍然觉得这本书很难真正读懂。信息论中有很多艰深的思想以及数学证明包含了本书之中,这些证明不花上一定的力气不可能学会。所以,相比较来说,我并不觉得这是一本信息论入门书籍。(相比较来说,入门书籍应该更加浅显一些,而且不要涉及太多的数学证明)。
2、内容过于分散,很难让初学者抓住主线
本书的优点之一就是将信息论设计的很多相关学科也介绍的非常清楚,例如金融、博弈、物理、最大熵原理、统计等等,但是这也恰恰形成了读者,尤其是初学者阅读这本书的障碍。我更不能理解的是,作者似乎按照两条主线来叙述这些东西。一条主线是比较清晰的传统信息论和编码、通信理论,另外一条主线是信息论涉及到的边边角角的知识,而且这两条主线是交错地在各个章节呈现的。
3、翻译的语言过于学术化
翻译还是不好,有些语言太死板了,有把简单的概念复杂化的趋势。
但是,这本书还是有相当多的闪光点,比如对Entropy这个概念的完整介绍,比如Kolmogorov复杂性理论的介绍。我觉得作者应该进一步突出Entropy这个概念,用它贯穿所有的内容。
这本书我刚刚开始读,是英语原版的《Elements of Information Theory》。关于这本书是不是“入门”和“基础”教材,是个见仁见智的问题。关于这个问题,作者在第一版前言中设定了对理想读者的要求是,专业为通信理论、计算机科学或应用数学的本科高年级或研究生一年级,有深厚的数学背景和至少一年期课程(两学期)的概率论,最好懂测度论。不过从第一章正文来看,要求可能更高一些,至少对作者提及的跨学科理论,包括通信理论、统计物理/热力学、Kolmogorov复杂性理论和算法复杂性理论的理解以及对概率统计内容的精通作为前提,甚至需要一些数理逻辑的知识,例如形式证明的理论,而这些内容已经横跨电子工程、计算机科学、物理学、数学、科学哲学、经济学多个领域。因此,毋宁说这本书阅读的起点很高,需要读者大量的前期准备课程或知识。
不过一旦你具备了这些预备知识,这本书对你,毫无疑问就是学习“信息论”的入门书,或者基础课本,只是对概率统计功底的要求此书比一般同类书籍要高一些。
对于具备了作者所要求的预备知识的读者来说,这本书确实是一本不可多得的好书,没有废话,但解释说明清晰易懂。比如在第一章·导言和预览中开门见山、直奔主题:
Information theory answers two fundamental questions in communication theory: What is the ultimate data compression (answer: the entropy H), and what is the ultimate transmission rate of communication (answer: the channel capacity C).
信息论处理的问题本质上只有两个:数据的压缩和通信的传输率。关于这两个问题的研究话题则是H熵和信道容量。
这本书是否容易读懂,作者主观的认定是simple and accessible,并在第一版序言中引用了“据说是”爱因斯坦的名言作为作为回答:“Everything should be made as simple as possible, but no simpler”。
作为非EE专业的学生 个人觉得读起来相当有意思 花些时间和耐心可以读得很懂 但是problem好难! 这个Problem肯定不是入门级的!
楼上去看看introduction to algorithms http://book.douban.c
这就是信息论的入门经典,但是需要花很大力气才能读懂并理解的。这就是这么学科的特点,信息论本身属于概率统计,应用数学的分支之一。读这本书一方面要有较扎实的数学功底,另一方面对于无线通信、编码要有一定了解,这样就能很好的入门。这是经典学术著作,而不是科普。十分同意@dcc1031的说法。
实话实说,对于信息论来说,这还真就是个入门的书籍。这个入门不是指得科普读物,而是在大学教育过程中,接触信息论的第一本书籍。而且Cover已经在刻意降低理论的深度,把这个口子开得很宽,没有说太深奥的东西。
几项基本的东西像 Jenson 不等式,数据处理不等式,Fano不等式,利用typical set 给出的证明,还有就是 random binning 。再深的东西都没有涉及,像dirty paper coding, Gelfand-Pinsker定理,degraded broadcast channel, interference channel统统都涉猎不深。
还有,学习又不是玩,信息论这样的东西更是需要大量的脑力劳动。不客气地说,在国内信息论的研究几乎就是个0,如果学生想靠自己从头研究是不现实的。如果你想走马观花的看看,那也没这个必要,什么也学不到;如果想认认真真地学,那就需要花点时间。
如果去看看Csiszar的书,才知道什么叫难懂。
如果是做研究,Abbas El Gamal的书其实不错,属于可以指导研究的讲义。
我感觉着本书还是比较基础的,至少对于相关专业而言。
其实,熵只是一个简单的概念。更为重要的如何去在传递过程中尽量降低信息的损失。
信息论涉及到的数学主要是初等概率论,以及一些重要的不等式。