脖子的图书主页-查字典图书网

经典ML教材之一

2016-01-13

在Bishop的这本PRML之前，学习machine learning的标准教材一般是Tom Mitchell的machine learning以及Duda&Hart的Pattern Classification (那个年代ML与PR非常大的重合之处)。不可否认，这两本书都是ML领域的经典教材，但是由于成书时间太早，基本上都属于上古读物，已经不大适合现在的学习了。而当这本PRML问世之后，立即便成为ML的又一标准教材，并且很快取代了前两本书 --- 即使将近十年以后的今天，它依然是ML的主流教材之一。

写好一本general machine learning的书，必须在内容上有所取舍。个人认为，从入手角度上分，大体上可以分为：statistical/probabilistic perspective, theoretical perspective, optimization perspective, algorithmic/model perspective等等。而这本书应该属于最后一种，也即它主要介绍各种machine learning里面最基本的模型以及相关算法。这本书最大的优点/特色我觉得有以下几点：

1. 内容选取得当。书中所介绍的所有模型以及算法，放到今天，依然是理解学习ML最最基本的组成部分，这些内容，对于读者了解更高级的算法，几乎都是必不可少的。这本书并没有试图涵盖当时所有的机器学习算法，而是精选了ML里面最本质最fundamental的方法，由此可以看出，作者对于这个领域的驾驭能力还是非常高的，准确的预见到了那些非常有生命力的模型，所以，如果你是一名ML的初学者的话，读这本书，即使过了十年，但是依然不会过时。

2. 详略难易得当。由于内容选取的少而精，所以作者可以深入浅出的介绍每一种模型，不会因为太过简略而使读者疑惑，同时对于高阶的内容又点到为止，使得整本书的难度保持在了一个对于初学者可以接受的范围内。基本上，当年我看这本书的时候，就是把它当成一个个的tutorial来看。比如我在学EM算法的时候，我主要就是以这本书的内容为主，配合网上其他资源学习。这一点在学习Graphical model的时候更加明显。众所周知这个领域比较经典的著作是Probabilistic Graphical Models以及Bayesian Reasoning and Machine Learning，但是这是两本大部头的书，一开始读起来会比较吃力。而本书的作者Bishop本身就是搞Bayesian learning以及graphical model的，PRML这边书用几章的内容就把这个领域最核心的概念以及方法解释了一遍，不得不让人佩服作者的功力。

3. 前后呼应。很多algorithmic ML书籍（尤其是国内的教材）的一个通病就是重方法轻思想，直接的结果就是里面的内容更像是方法的罗列，让人读过之后知其然而不知其所以然。而这本书这比较好的避免了这个问题，章与章之间的内容都有衔接和呼应。正如我上面提到的，由于Bishop是搞Bayesian learning以及graphical model的，所以最明显的例子莫过于作者试图通过graphical model的方式解释书中提到的每一种模型；此外在介绍玩graphical model之后，作者紧接着用两章分别讨论sampling以及approximation的内容作为求解图模型的具体方法，给人以一种浑然一提的感觉。

以上都是宏观上的感受，但是更主要的，还是作者本身深厚的功力，对知识的把握，以及出色的语言表达能力，只不过这其中的精妙所在，就只可意会不可言传了
。

我心目中的ML领域三大经典教材之一

2013-11-22

另外的两本分别是PRML和ESLII。
这本书的成书时间最晚，刚出的时候特意花了90刀从亚马逊买的。
先说说优点：新，全！
刚说了，相对于另外两本书，由于成书时间较晚，所以涵盖了更多最近几年的hot topic，比如Dirichlet Process，在其他另外两本书中都没有提到过。
更重要的，是全，基本上ML领域的专有名词，你都可以在书后的index找到。说道这里，不得不佩服本书的作者Kevin Murphy，剑桥的本科，UCB的博士，MIT的博后，得到过多位大牛的真传，当初申请PhD的时候就想申他的学生，可惜他那个时候已经打算跳到Google，不再招新学生了。
还有一个非常重要的，另外两本书不具备的，就是这本书配备了详尽的matlab code，你几乎可以尝试书中的每一个例子。
单从以上这几点，我绝对会把他排在所有ML教材的首位！

不过可惜的是，当我拿到手开始读这本书的时候，却有不禁有点失望。显然Kevin的驾驭力还不及另外两本书的作者，所以造成的一个结果就是这本书有点像是一个大杂烩，一本handbook。可是看出，作者是真心想把所有的东西都展现出来，而how to organize就成了一个很大的问题，在这一点上，我觉得作者做的还不是很出色。所以整本书的系统性不及另外两本，读起来也没有那种酣畅淋漓的感觉。有的时候，当你读完一章之后，反而更加的迷惑，因为很多东西作者都没有系统阐述，仅仅是点到为止。
本书的另外一个缺点就是排版和笔误非常的多，可见后期的校对工作做的也不够好。

但不管怎样，这本书都应该算的上是经典，如果打分的话，PRML 9.5，ESLII 9.4，本书9.2，其他ML的书籍应该都在9以下。

一本较为不错的theoretical machine learning的读物

2015-02-27

市面上关于machine learning (ML)的书很多，但是个人认为用一本书将ML的方方面面全部讲清楚是不可能的。粗略的来讲，ML的书籍可以分为算法(algorithm)和理论(theorem)两大类。前一类中，个人认为最近十年比较经典的教材包括Bishop的Pattern Recognition and Machine Learning，斯坦福三位大牛写的The Elements Statistical Learning，以及最近Murphy新出的的Machine Learning；但是后一类中比较经典的图书则不是很多，其中包括Michael J. Kearns的An Introduction to Computational Learning Theory，Luc的A Probabilistic Theory of Pattern Recognition，以及Vapnik的The Nature of Statistical Learning Theory。可惜的是，这几本书虽然可以称得上是经典，但几乎都是上个世纪的"上古"读物。此外个人感觉理论性较强，不大容易上手(废话，theoretical machine learning必须理论性很强啊！)。

最近有一本Mehryar Mohri等人写的"Foundations of Machine Learning"，应该说填补了近几年关于machine learning theory方面上的空白，虽然涉及的内容不是很多，但是ML里面重要的一些算法，思想基本上都涵盖在了里面，而且里面的证明推导比较细致，深入浅出，还是一本很不错的ML的理论入门读物。

这本Understanding Machine Learning是我去年底参加NIPS的时候在会场上直接从Cambridge Press的展台上买的，48刀，还算不贵。虽然副标题写的是from theory to algorithms，但是整体感觉还是偏重theory。我并没有通读这本书，但是单单从目录上来看，本书涵盖的内容要比上面提到的Foundations of Machine Learning多很多，但是也正是因为如此，很多内容也都是点到为止，并没有做太深入的讨论，有些证明的推导还得自己去研究。但是不论怎样，这本书给人的整体感觉还是不错的，和Foundations of Machine Learning一起作为theoretical machine learning的入门读物还是挺值得推荐的。毕竟相对于一个个鲜活的learning model，theory还是显得有些艰深晦涩，能用通俗易懂的文字把这些东西讲清楚本来就不是一件容易的事情。

顺便说说本书的两位作者，可能对于初搞ML的人而言，这两人并不是像Michael Jordan，Geoffrey Hinton， Andrew Ng那样牛逼闪闪的人物。但实际上这两位以色列人在theoretical machine learning还是有不少贡献的。而且我发现搞ML的以色列这一流派都很喜欢搞理论这一块，而且搞的相当不错，各种bound，regret，complexity，让人看的天花乱坠，顶级会议期刊各种灌，更有不少人在Princeton，Stanford这样的顶级高校中拿到了faculty position，其研究成果令人侧目。