推荐章节
2017-01-14
年初收到，闭关两周终于是从头到尾读完了，读的不算很精，好在做了不少笔记与注释，二刷三刷肯定是要的。 现在市面上系统讲解Deep Learning的书不多，出版的更少，毕竟像CNN这种东西本身就没人真懂，在这领域经验主义远强于逻辑主义。这本书是我目前读过讲DL最好的一本(虽然我读过的并不多，有其他好书还请推荐)。这里推荐几个写的很好的章节。
第一部分：
这部分其实没什么好说的，基本就是统计学习最基础的线性代数，概率论等，第4章值得一读，讲了些数值分析里常涉及的几个概念(Poor Conditioning, Optimization method)。当然如果系统的上过Numerical Analysis或Computational Physics的话这章基本可以无视。第5章介绍了非玄学领域的Machine Learning各个算法。鉴于本书名字是Deep Learning，这章内容基本都是粗略介绍，严格的数学推导较少，建议只要读5.10与5.11就可以。想仔细研究ML的话这里顺道推荐3本ML好书：
An Introduction to Statistical Learning by Daniela Witten, Gareth James, Robert Tibshirani, and Trevor Hastie
The Elements of Statistical Learning by Jerome H. Friedman, Robert Tibshirani, and Trevor Hastie
Foundations of Machine Learning by Afshin Rostamizadeh, Ameet Talwalkar, and Mehryar Mohri
第二部分：
从这部分开始正式进入玄学领域！7,8,11章重点推荐，第二部分的精髓也是本书的精髓！DP领域各种花样层出不穷，无非就是变着法子定义与连接神经元，各种模型淘汰更新的很快，但是第7章讲的正则化(Regularization)，第8章的优化方法(Optimization)和11章的方法论却是任何模型都离不开的。今天学到的模型可能下周就被超越了，但是这三章的内容永远有用，嗯，至少现阶段的深度学习框架下永远有用。这三章也是集中了三位作者个人知识与经验的地方，比如就正则化来说，所有关于ML或DP的教材都会涉及几种方法，但是唯有本书将(基本)所有正则化方法放到一起讲解并做横向比较。作者们还根据个人经验详细阐述了各种情况下对应方法选择，简直就是面试圣经(大雾)。
9,10,12章讲的是现在比较成熟的模型及其应用，这方面在明白原理的情况下自己写个模型做实验或读读大牛的code都是更高效的学习方法。这三章里推荐9.5(CNN的改进与变体), 10.8-10.12(Long-Term Dependencies的几种解决方案)。吐槽下虽然12章起名叫Application,但是介绍的诸如Neural Turing Machine, Reasoning and Question Answering还远未成熟。
第三部分：
本部分讲的是深度学习领域比较活跃的科研问题。对于应用者可以说没有章节推荐，对于科研者可以挑感兴趣的读。从这部分里判别式模型(discriminative model)减少而生成式模型(generative model)增多就可以看出主流的研究方向。14章的Autoencoders很重要也很有应用前景。16,17章的Probability Model与Monte Carlo Method具有普适性也值得一读。19章讲的EM算法，MAP，Sparse Coding都是Inference里重中之重。20章的各种Deep Generative Model是本书最难，也是装逼吹牛不可或缺的资本。其实对于这部分，更有价值的是书里推荐的各种paper。本书16年末才出版，书中引用推荐的paper都是最近比较新也很有影响力的。真正做科研的不妨跟着书里引用paper的顺序跟着慢慢读下去。
注：
以上推荐的章节都是针对我个人的知识储备，纯属一家之言，并不具有普适性，如果不确定该读什么就全读吧！
不知为何一提这本书默认作者就是Bengio，明明Goodfellow也很有名的！
GitHub上有中文翻译了，我没读过不知道翻得如何。
https://github.com/exacity/deeplearningbook-chinese