书评

现存的神经网络存在一个问题叫做梯度衰减(gradient decay?)。大致是说最后梯度很难对前面曾产生影响。
p.s.我才知道这个问题在今年已经被解决。挺奇怪的，听说这个问题主要在于不同层之间的剃度能量不稳定。所以PReLu中引入了MSRA filter。后来又出现了Batch Normalization，但总觉得有些蹊跷。。

第一，filter层是天生的，这也是finetune的意义所在。
第二，精度和计算深度本身就是一个矛盾的问题。一味地go deeper或许是一条死路？而（我忘了）中已经证明了如果少于一定层数，神经网络的大小呈指数级增加。大概解释是，过少的层数无法构建知识的层次。所以适度才是最好。适度很悬，但所幸机器学习中真有一套well formulate的理论来描绘度这个概念，VC dimension。而隔壁组正好叫VC组，这是巧合么？


———————————曾经的书评——————————————
1.计算基本单元，计算深度 和 精度
11/29/2015:见上。。。

2.并行 和 串行
并行可以降低误差的放大。
11/29/2015:还有一个理由是速度快，不过没必要提吧。而且这两个理由并不是固定同一组变量，不多说。

3.神经元是复杂还是简单？
神经网络中 的 神经元（gate？）构造可能极为复杂。
其本身能力并非线性这么简单。
11/29/2015:从现在的神经网络来看，只要足够深，不同的非线性原件效果类似。RELU，Atan，Sigmoid。如果说真有什么问题，那就是精度问题，因而RELU胜出。
正如caffe中sigmoidCrossEntropy源代码中所写，
”为什么不把它拆成两个基本原件？因为一个原件，精度更好”

4.为什么要有记忆？
11/29/2015:或许RNN能给予一定诠释。但我不得不说，现在神经网络几乎完全没有Cover这个概念。
正如《SICP》，这个问题大概和为什么要有序列，为什么要有时间差不多。没有memory的计算模型是pure functional的。
p.s.
当初读SICP扉页，
“我认为，在计算机科学中保持计算中的趣味性是特别重要的事情。这一学科在起步时饱含着趣味性。当然，那些付钱的客户们市场觉得受了骗。一段时间之后，我们开始严肃地看待他们的抱怨。我们开始感觉到，自己真的像是要负起成功地、无差错地、完美地使用这些机器的责任。我不认为我们可以做到这些。我认为我们的责任是去拓展这一领域，将其发展到新的方向，并在自己的家里保持趣味性。我希望计算机科学的领域绝不要丧失其趣味意识。最重要的是，我希望我们不要变成传道士，不要认为你是兜售圣经的人，世界上这种人已经太多了。你所知道的有关计算的东西，其他人也都能学到。绝不要认为似乎成功计算的钥匙就掌握在你的手里。你所掌握的，也是我认为并希望的，也就是智慧：那种看到这一机器比你第一次站在它面前时能做得更多的能力，这样你才能将它向前推进”
觉得狗屁不通不知所云。现在觉得字字真知，老了。

5.大脑可能选用不同的数学模型
11/29/2015:这也是现在神经网络一直在argue的问题，神经网络学到的东西，和人类的概念一致么?还没有结果。但我的感觉是不一致的。理由是，我认为知识可以看作一个空间，那么概念就是其中的基。一个空间必然可以有多组基，那么凭什么认为其完全一致呢？唯一的可能是，由于计算是非线性，可能存在一组最”简单“（人类尚没有任何工具刻画简单这个复杂的概念)的基。人和神经网络都收敛到这个。更有可能的是，model都不一样，学到的基就别说了。

----------------------------------------------------------------
另外，最近忽然有些理解了作者说过的一句话。
大概是有个人跟作者说，
作者回答，电脑有什么不能做的？如果你能告诉我什么是思考，那么我也能让电脑思考。
我开始喜欢一句话:A problem well put is half solved.

意即机器无法思考，并不是因为它能力受到了限制，而是人不理解思考是什么。

当然这就引出了另一个问题，人的思维是否能被我们理解？
或者换成一个更具迷惑性的问题，人的理解能力能否被人理解？
按照哥德尔定理反方向预示着的，一个足够强的自省的系统就已经拥有了足够的智能了呢。






还有问题的数学深度的问题。