- 您在位置 #370-372的标注 | 添加于 2017年1月2日星期一 下午3:20:56
费根鲍姆分析到，传统的人工智能之所以会陷入僵局，就是因为他们过于强调通用求解方法的作用，而忽略了具体的知识。仔细思考我们人类的求解过程就会发现，知识无时无刻不在起着重要作用。因此，人工智能必须引入知识。
==========
- 您在位置 #398-404的标注 | 添加于 2017年1月2日星期一 下午3:22:32
在这里，麦卡锡特意强调人工智能研究并不一定局限于模拟真实的生物智能行为，而是更强调它的智能行为和表现的方面，这一点和图灵测试的想法是一脉相承的。另外，麦卡锡还突出了利用计算机程序来模拟智能的方法。他认为，智能是一种特殊的软件，与实现它的硬件并没有太大的关系。 纽厄尔和西蒙则把这种观点概括为“物理符号系统假说”（physical symbolic system hypothesis）。该假说认为，任何能够将物理的某些模式（pattern）或符号进行操作并转化成另外一些模式或符号的系统，就有可能产生智能的行为。这种物理符号可以是通过高低电位的组成或者是灯泡的亮灭所形成的霓虹灯图案，当然也可以是人脑神经网络上的电脉冲信号。这也恰恰是“符号学派”得名的依据。
==========
- 您在位置 #497-502的标注 | 添加于 2017年1月2日星期一 下午3:27:23
实际上，统计学习理论的精神与奥卡姆剃刀原理有着深刻的联系。威廉·奥卡姆（William Occum，1287—1347）是中世纪时期的著名哲学家，他留下的最重要的遗产就是奥卡姆剃刀原理。该原理说，如果对于同一个问题有不同的解决方案，那么我们应该挑选其中最简单的一个。神经网络或者其他机器学习模型也应该遵循类似的原理，只有当模型的复杂度与所解决的问题相匹配的时候，才能让模型更好地发挥作用。 然而，统计学习理论也有很大的局限性，因为理论的严格分析仅仅限于一类特殊的神经网络模型：支持向量机（Supporting Vector Machine）。而对于更一般的神经网络，人们还未找到统一的分析方法。
==========
- 您在位置 #387-391的标注 | 添加于 2017年1月2日星期一 下午3:35:17
事实上，在人工智能界，很早就有人提出过自下而上的涌现智能的方案，只不过它们从来没有引起大家的注意。一批人认为可以通过模拟大脑的结构（神经网络）来实现，而另一批人则认为可以从那些简单生物体与环境互动的模式中寻找答案。他们分别被称为连接学派和行为学派。与此相对，传统的人工智能则被统称为符号学派
==========
- 您在位置 #522-523的标注 | 添加于 2017年1月2日星期一 下午3:35:59
如果说符号学派模拟智能软件，连接学派模拟大脑硬件，那么行为学派就算是模拟身体了，而且是简单的、看起来没有什么智能的身体。
==========
- 您在位置 #556-558的标注 | 添加于 2017年1月2日星期一 下午3:38:34
“涌现”（emergence）这个词是人工生命研究中使用频率最高的词之一，它强调了一种只有在宏观具备但不能分解还原到微观层次的属性、特征或行为。
==========
- 您在位置 #580-597的标注 | 添加于 2017年1月2日星期一 下午3:41:42
首先，符号学派的思想和观点直接继承自图灵，他们是直接从功能的角度来理解智能的。他们把智能理解为一个黑箱，只关心这个黑箱的输入和输出，而不关心黑箱的内部构造。因此，符号学派利用知识表示和搜索来替代真实人脑的神经网络结构。符号学派假设知识是先验地存储于黑箱之中的，因此，它很擅长解决利用现有的知识做比较复杂的推理、规划、逻辑运算和判断等问题。 连接学派则显然要把智能系统的黑箱打开，从结构的角度来模拟智能系统的运作，而不单单重现功能。这样，连接学派看待智能会比符号学派更加底层。这样做的好处是可以很好地解决机器学习的问题，并自动获取知识；但是弱点是对于知识的表述是隐含而晦涩的，因为所有学习到的知识都变成了连接权重的数值。我们若要读出神经网络中存储的知识，就必须要让这个网络运作起来，而无法直接从模型中读出。连接学派擅长解决模式识别、聚类、联想等非结构化的问题，但却很难解决高层次的智能问题（如机器定理证明）。 行为学派则研究更低级的智能行为，它更擅长模拟身体的运作机制，而不是脑。同时，行为学派非常强调进化的作用，他们认为，人类的智慧也理应是从漫长的进化过程中逐渐演变而来的。行为学派擅长解决适应性、学习、快速行为反应等问题，也可以解决一定的识别、聚类、联想等问题，但在高级智能行为（如问题求解、逻辑演算）上则相形见绌。 有意思的是，连接学派和行为学派似乎更加接近，因为他们都相信智能是自下而上涌现出来的，而非自上而下的设计。但麻烦在于，怎么涌现？涌现的机制是什么？这些深层次问题无法在两大学派内部解决，而必须求助于复杂系统科学。 三大学派分别从高、中、低三个层次来模拟智能，但现实中的智能系统显然是一个完整的整体。我们应如何调解、综合这三大学派的观点呢？这是一个未解决的开放问题，而且似乎很难在短时间内解决。主要的原因在于，无论是在理论指导思想还是计算机模型等方面，三大学派都存在着太大的差异。
==========
- 您在位置 #617-620的标注 | 添加于 2017年1月2日星期一 下午3:43:18
与传统的方法不同，贝叶斯将事件的概率视为一种主观的信念，而不是传统意义上的事件发生的频率。因此，概率是一种主观的测度，而非客观的度量。故而，人们也将贝叶斯对概率的看法称为主观概率学派——这一观点更加明确地凸显出贝叶斯概率与传统概率统计的区别。
==========
- 您在位置 #715-716的标注 | 添加于 2017年1月2日星期一 下午3:49:02
但当我们考虑人类智能的时候就会发现，任何智能系统都不能与环境绝对隔离，它只有在开放的环境下才能表现出智能。
==========
- 您在位置 #935-938的标注 | 添加于 2017年1月2日星期一 下午10:25:18
随着小虫内部状态数的增加，随着它所处环境的复杂度的增加，我们正在逐渐失去对小虫行为的预测能力。但是所有这些改变仍然没有逃出图灵机的模型：输入集合、输出集合、内部状态、固定的程序。就是这四样东西抓住了小虫信息处理的根本。
==========
- 您在位置 #946-951的标注 | 添加于 2017年1月2日星期一 下午10:26:07
学习的问题反映在模型中了吗？学习是怎么回事儿呢？似乎在图灵机模型中不包括学习，因为学习就意味着对程序的改变，而图灵机是不能在运行过程中改变它的程序的。然而，我们不难假设，你实际上并不能打开一个人的脑袋来看，所以它的实际程序规则你是不知道的。很有可能一个图灵机的规则没有改变，只不过激活了它的某些内部状态，因而它的行为发生了本质的变化，尽管给它相同的输入，它却给出了完全不同的输出，因而在我们看来，它似乎会学习了。而实际上，这个图灵机的程序一点都没变。
==========
- 您在位置 #965-966的标注 | 添加于 2017年1月2日星期一 下午10:27:08
如果我们把一切都看作信息，那么广义上讲，计算就是对信息的变换。
==========
- 您在位置 #966-970的标注 | 添加于 2017年1月2日星期一 下午10:27:41
计算。如果我们把一个小球扔到地上，小球又弹起来了，那么大地就完成了一次对小球的计算。因为你完全可以把小球的运动都抽象成信息，它无非是一些位置、速度、形状等能用信息描述的东西，而大地把小球弹起来无非是对小球的这些信息进行了某种变换，因而大地就完成了一次计算。你可以把整个大地看作一个系统，而扔下去的小球是对这个系统的输入，那么弹回来的小球就是该系统的输出，因而也可以说，计算就是某个系统完成了一次从输入到输出的变换。
==========
- 您在位置 #985-988的标注 | 添加于 2017年1月2日星期一 下午10:29:09
我们自然可以通过组合若干图灵机完成更大更多的计算，如果把一个图灵机对纸带信息变换的结果输入给另一台图灵机，然后再输入给别的图灵机……这就是把计算进行了组合。也许你还在为前面说的无限多的内部状态和无限复杂的程序而苦恼，那么现在不难明白，实际上我们并不需要写出无限复杂的程序列表，仅仅将这些图灵机组合到一起就可以产生复杂的行为了。
==========
- 您在位置 #1018-1035的标注 | 添加于 2017年1月2日星期一 下午10:35:21
这让我不禁想起了专家系统方法。其实专家系统就是一个大的规则库，相当于存储了很多(1,2)(3,6)(5,10)这样特殊的规则对。但它存储的东西再多，总归会是有限的，你只要找到一个它没有存储到的问题，它就无能为力了。因而专家系统就会在你问到102对应多少的时候失败。如何解决问题？人们想出了很多方法，比如元规则。其实元规则就相当于刚才所说的计算加法的程序，或者 2x 这样的东西。运用元规则的确可以应对无限种情况了。所以，这就是你问计算机任何两个数相加是多少，它总能给出你正确答案的原因，虽然它不必记住所有这些加法对的信息。 然而仅仅是元规则就能解决所有问题吗？假如给你三组数对，排列成一张表： 1,2 3,6 4,8 100,200 3,9 2,6 8,24 100,300 1,4 2,8 3,12 100,400 那么请问在第6行上，3这个数字对应的是多少？我们先要找出第一行的规律是2x 没有疑问，第二行呢？是3x，第三行是4x，那么第6行就应该是7x 了，因而在第6行上3应该对应的是21！跟前面不太一样的是，虽然我们得到了每一行的规则比如2x，但是随着行数的增加，这个规则本身也变化了：第2行是3x，第3行是4x，因而我们又得到了一个规则本身的规则，即如果行数是 n 的话，那么这一行的规则就是(n + 1)x。我们显然能够根据输入的 n 和 x 计算出数值。在专家系统里，这种原理就是元规则的规则，元元规则……，应该是无穷的。然而专家系统本身并不会自动归纳这些规则，人必须事先把这些元规则写到程序里，这就是专家系统最大的弊端。而我们人似乎总能在一些个别的事件中归纳出规则。进一步问，机器可以归纳吗？这就相当于说：可以为归纳方法编出程序吗？这也是一个很有趣的问题，下面我们会详细讨论。可以设想，假如我们找到了真正归纳的方法，那么编写出这样的程序，它就会一劳永逸地自己进行学习归纳了。我们再也不用给它编制程序和规则了。这正是人工智能的终极目标。
==========
- 您在位置 #1054-1063的标注 | 添加于 2017年1月2日星期一 下午10:38:16
如果计算机能自动归纳，也就意味着我们可以为归纳方法编写一段程序P。这个程序可以理解为输入的是一些特殊的数对，输出的是能够生成这些数对的程序。也就是说输入具体的“招术”，输出的是这些“招术”的一般规律。如果程序P真的可以归纳，那么P就必然可以归纳出所有的规律。我们已经讨论过了，其实任何一个程序都能够被看作对输入的一个变换而得到输出。那么程序P自然也是。假设这些对子(a,b)，(c,d)，(e,f)，……都是程序P的输入输出对，那么我们挑选出前1000个（总而言之是足够多的对子）。把这1000个特殊情况输入到P中，那么P就应该能够产生这些对子的共性，也就是P自己这个程序了。换句话说，程序P产生了它自己，P自己把自己给归纳出来了。这似乎陷入了怪圈之中！另外，我们人类设计出来P，如果P可以归纳所有的规律，那么P能否归纳出“人归纳P”本身这个规律呢？仍然是怪圈问题！这样的问题似乎还有很多。事实上，索洛莫诺夫（Solomonoff）很早就提出了通用归纳（universal reduction）模型，并对这个问题给出了明确的回答：虽然我们可以数学地写出通用归纳模型，但它却是不可计算的，也就是程序P并不存在，这与后面讨论的图灵停机程序有关。
==========
- 您在位置 #1071-1071的标注 | 添加于 2017年1月2日星期一 下午10:39:42
模拟的关键是对应。如果集合A中的元素可以完全对应B中的元素，那么A就可以模拟B。
==========
- 您在位置 #1091-1092的标注 | 添加于 2017年1月3日星期二 下午8:05:30
在给定相同输入信息的情况下，只要输出信息 o' 能够模拟信息 o，也就认为B模拟了A。
==========
- 您在位置 #1094-1096的标注 | 添加于 2017年1月3日星期二 下午8:06:07
o' 可以与 o 不一样，但是只要你能用一个图灵机把 o' 经过一系列运算变换到相同的 o，就认为 o' 模拟了 o。因而也就是图灵机B模拟了图灵机A。
==========
- 您在位置 #1100-1103的标注 | 添加于 2017年1月3日星期二 下午8:06:31
如果A图灵机模拟了B图灵机，那么B图灵机并不一定可以模拟A图灵机。因为有可能A图灵机比B图灵机处理的信息更多。也就是说假如B能处理的信息就是1,2,3,4，而A处理的信息除了这四个数之外，还有5,6,7,8，那么显然当输入1,2,3,4的时候A能够模拟B，而当输入5,6,7,8的时候B就没定义了，不能完成任何操作，这时B显然不能模拟A了。
==========
- 您在位置 #1104-1104的标注 | 添加于 2017年1月3日星期二 下午8:06:55
模拟的一个关键作用就是阐明什么是等价的。
==========
- 您在位置 #1144-1146的标注 | 添加于 2017年1月3日星期二 下午8:08:58
是否存在一台图灵机能够模拟所有其他的图灵机呢？答案是存在的。这种能够模拟其他所有图灵机的图灵机叫作通用图灵机（Universal Turing Machine）
==========
- 您在位置 #1147-1152的标注 | 添加于 2017年1月3日星期二 下午8:10:07
万能图灵机会怎样工作呢？假如我把信息 x 输入到了图灵机M 中，M就能计算出一个结果 o。那么如果我把 x 和M的信息都输入给万能图灵机，那么它也会输出 o，也就是万能图灵机可以模拟任何一台特殊的图灵机。这样的话我们仅仅通过改变输入 x 和M的值就能“改变”万能图灵机的程序规则了，因而也可以认为万能图灵机就是可以任意编程的。这里的“改变”两个字加上了引号，是因为事实上任何图灵机在诞生之后就不能改变规则了，因而虽然看上去改变了万能图灵机的规则，其实根本没有改变。
==========
- 您在位置 #1182-1186的标注 | 添加于 2017年1月3日星期二 下午9:00:26
那么我们可以把它写到一行中，这就是2,1,0,3; 1,0,3,2; 3,0,1,1，注意用“,”分开了内部状态、输入数值、输出动作和下一时刻的状态，而用“;”分开了一行一行具体的程序。这样无论这个表有多长，我们都可以把它写成一个这样的字符串。这个字符串就相当于一个英文单词，这就是对该图灵机程序的一个描述。同理，其他的图灵机也能够得到这样的一个单词描述，那么我们再用字典序的方法对这些描述进行编码，就得到了对所有图灵机的编码。
==========
- 您在位置 #1195-1206的标注 | 添加于 2017年1月3日星期二 下午9:08:44
图灵机一旦能够把程序作为数据来读写，就会诞生很多有趣的事情。首先，存在某种图灵机可以完成自我复制。事实上，计算机病毒就是这样干的。我们简单说明一下这个特殊的图灵机是如何构造的。我们假定，如果一台图灵机是X，那么它的编码就记为<X>。这样能够自我复制的图灵机T的功能是把T的编码<T>写到纸带上输入万能图灵机，那么万能图灵机就能根据读入的<T>执行T，在纸带上再次输出<T>的一份副本<T>'，并且<T> = <T>'。下面就来解释如何构造这样的T。首先T由两部分构成：A和B。第一部分A的功能是指导万能图灵机把B的编码<B>原封不动地打印到纸带上，纸带上就有了<B>，如果这个时候你想用同样的方法打印<A>到纸带上是不行的，因为A就会打印自己了。然而B却可以这样做：读入纸带上的信息X，生成能够打印X的图灵机p(X)的编码<p(X)>，打印到纸带上，并把X和<p(X)>的内容前后调换，有定理保证这样的图灵机是存在的。这样当B读到纸带上的信息<B>之后，就会打印出能够打印<B>的图灵机的编码也就是<A>，然后把<A>和<B>位置对换，就构成了<AB>，也就是<P>，所以P把自己进行了一次复制。初看起来，这种自我复制的程序是不可能的，因为这包含了无穷无尽的怪圈。P要能产生它自己<P>，就意味着P中至少包含了一个<P>，而这个<P>中又包含了至少一个<P>……最后P必然是一个无限大的程序，然而我们却能够证明P是可能的。
==========
- 您在位置 #1264-1264的标注 | 添加于 2017年1月3日星期二 下午11:42:35
停机问题也是如此，我总能根据你的程序P来构造P判定不出来的问题Q
==========
- 您在位置 #1269-1270的标注 | 添加于 2017年1月3日星期二 下午11:43:16
所有计算机不能解决的问题从本质上讲都和图灵停机问题是计算等价的。
==========
- 您在位置 #1294-1305的标注 | 添加于 2017年1月3日星期二 下午11:48:47
前面我们已经看到了类似这样的过程。如你写出了一个程序P能够判断所有程序是否停机，那么我就能构造一个你的程序判断不了的程序Q。这时你又根据我的程序Q构造了新的程序P'，然而我又能构造一个程序Q'，仍然让你的程序P' 判断不了。但是你没有结束，又构造了新的程序P''，于是我又构造了Q''…… 乍一看，似乎这个过程并不能说明任何问题。原因很简单，我要求的是构造一个固定的程序P判断出所有程序是否停机，而你给我的并不是一个具体的实实在在的程序，而是一个不断变化、捉摸不定、虚无飘渺的程序序列，并且你的这些总在变化的程序序列总是要根据我构造的程序才会确定改变。 首先值得肯定的一点是，运用这种方法，你的确能够超越图灵计算了，只要反复不停地变换你的程序，就不可能找出它不能解的问题。然而，另一方面又会让我们很失望：这样的变换过程并不能给出一个实实在在的程序来。我们拥有的仅仅是不断改变的程序序列，而不是一个实际存在的程序。 这正是问题的关键所在：要想彻底超越图灵计算的限制，我们必须放弃程序的实在性。也就是说程序每时每刻都要变化。
==========
- 您在位置 #1329-1330的标注 | 添加于 2017年1月3日星期二 下午11:49:00
如何制造真正的人工智能呢？我们的答案就是： 一个能不断改变自己的程序，而且这种改变也不是一个固定的程序。
==========
- 您在位置 #1825-1827的标注 | 添加于 2017年1月14日星期六 上午11:29:39
分形展示的是一种尺度层次上的混淆。假如你真的掉到一个分形几何体中，而没有任何外部观察作为参考，那么你会像那些可怜的僧侣一样困惑地发现，你已经搞不清楚自己的尺寸有多大了。
==========
- 您在位置 #1835-1850的标注 | 添加于 2017年1月14日星期六 上午11:31:16
埃舍尔有相当多的的画作都是在表达这种怪圈——缠结的层次结构，而更加司空见惯的层次混淆则发生在语言中。 例如，“从前有座山”这段话就是一种典型的用语言文字表达的相互缠结的虚拟层次结构，因为第n + 1层引号中的句子描述的东西与整个句子在第1层（不带引号）完全同构（原则上，这句话应为无穷长）。因此，这两个层次被混淆了。 在语言中，“这”“那”等代词会在层次缠结中起到至关重要的作用，因为它可以用来绕过无穷。例如： 这句话没什么意思。 “这句话”这个代词实际上只是对无穷的一种压缩表示，完整的句子应该是： “‘“‘……没什么意思’没什么意思”没什么意思’没什么意思。” 这也是一个无穷延伸的层次结构，而且里层与外层相似，层次被混到了一起，但由于空间有限，我们不得不使用省略号。这类语句又被称为自指语句。由这种自指可以构造悖论语句，例如那个著名的说谎者悖论： 这句话是错的。 所谓的悖论就是指自相矛盾，上面这句话就是自相矛盾的。因为，如果它是错的，那么我们会发现这句话的判断实际上是对的，出现矛盾；而如果承认它是对的，那么按照它自己的说法，它又错了，再次出现矛盾。这样，自指悖论在两个方面展现了矛盾。也就是说，这句话实际上不真也不假，或者说既真又假。 自指悖论的出现挑战了熟悉的非此即彼的世界观。更为奇怪的是，这类看起来很荒谬的句子却为哥德尔定理的出现和证明埋下了伏笔。
==========
- 您在位置 #1933-1939的标注 | 添加于 2017年1月16日星期一 下午11:33:23
有趣的是，下面这句自描述语句也可以作为自生产网络的比喻： 这句话有2个“这”字，2个“句”字，2个“话”字，2个“有”字，7个“2”字，11个“ 个”字，11个“字”字，2个“7”字，3个“11”字，2个“3”字。 这句话的每一个部分都可以比喻成一个化学反应物，它们之间相互依存的逻辑（语义）关系就形成了化学生产网络。该网络具有很强的自我修复“意图”。事实上，当你尝试写下这个句子的时候，你就会“被迫地”将整个句子写完整。这句话同时还把化学反应网络中缠结的层次结构表达出来了。这里相互缠结的两个层次是：化学反应的整个网络和每一个具体的化学反应产物。
==========
- 您在位置 #1961-1972的标注 | 添加于 2017年1月16日星期一 下午11:33:55
把“把中的第一个字放到左引号前面，其余的字放到右引号后面，并保持引号及其中的字不变”中的第一个字放到左引号前面，其余的字放到右引号后面，并保持引号及其中的字不变。 请仔细阅读这个句子，并严格按照句子要求你做的事情去操作。该句子希望你把引号中的句子拆开，把“把”字放到最前方，其余放到引号后面，然后保持引号中的文字不变。你就会发现，你捣鼓出来的新句子就是原始句子本身。而这个时候，你会发现，这句话的意思实际上就已经清晰地表达出了你正在做的事情。 这实际上是一种新的实现自指的方法，因为它没有使用指示代词“这”就实现了自指。在GEB书中，这种方法被称为蒯（kuǎi）恩，以纪念美国著名的逻辑学家蒯恩（W.V. Quine）。该方法的奥秘在于它巧妙地利用了使役动词“把”而对原始句子进行操作，使得到的新句子刚好跟原句子重合，从而完成了间接的自我指涉。我们不妨用图4-9来表示。 图 4-9 间接的自指技术 原始句子所指涉的对象本质上不是它自己，而是通过解读者的操作而得到的新句子，但有意思的是，这个新句子刚好跟原始句子一模一样。这样，缠结的层次结构就出现了。
==========
- 您在位置 #1988-1992的标注 | 添加于 2017年1月16日星期一 下午11:34:25
意识就仿佛是一面镜子，可以映照其他一切事物，包括我们生存的物理环境，也包括意识自身。当我们醒来的时候，我们的意识就会明白无误地体会到意识自身的存在。因此，自指恰恰就是自我意识的一个最重要的属性。 不仅如此，自我意识的核心就是自我。自我并不是我所观察到的外在事物，而就是这个观察、意识本身。所以，我的身体、我的记忆甚至我的感受都不等同于我，真正的我恰恰不是所有这些有形的东西，而是体察、认识这些有形东西自身的能力。
==========
- 您在位置 #2009-2023的标注 | 添加于 2017年1月17日星期二 上午12:29:47
计算理论先驱者们很早就已经指出了这种具有自我觉知能力的程序存在的可能性，甚至已经发现了相关的数学定理：克林尼（Kleene）递归定理。该定理是这样表述的： 对于任意的程序F，总存在一段程序代码c，使得我们执行代码c的结果完全等价于把源代码c作为数据输入给程序F执行的结果。 这个定理看起来非常平常，但它对于实现自指甚至自我觉知程序具有异常重要的作用，因为该定理保证了一段程序可以计算出关于这段程序自身的各种属性。 例如，假设程序F(x)是求任何一段字符串 x 的长度的程序，那么根据递归定理，存在一个有趣的程序c(F)，使得执行c(F)的结果就相当于F(c)，即c计算得出了程序c自己源代码的长短。所以，程序能够知道自己源代码有多长。 再比如，设F(x)表示的是打印字符串 x 的程序。那么，根据递归定理，存在着一个程序c(F)，使得执行c(F)的结果就是把c自己的源代码打印了出来。 实际上，前面讨论的自我复制的程序也可以通过应用递归定理制造出来。设F(x)为根据源代码 x 编译出 x 所对应的实体程序，那么根据递归定理，存在这样一段源代码c(F)，使得执行c的结果就相当于根据源代码c而构造出了它自己，于是机器完成了自我复制的过程。 总之，利用递归定理，我们可以制造出可以任意摆弄自己源代码的程序。这就好像一个人可以打开自己的头脑对里面的神经网络进行任意的摆弄一样。事实上，计算机病毒就是这样的程序，它们不仅可以自我复制，而且在一定程度上还能自我升级。
==========
- 您在位置 #2092-2115的标注 | 添加于 2017年1月17日星期二 下午7:58:41
胡特的通用智能模型AIXI的核心是索洛莫诺夫的通用归纳模型，事实上，将索洛莫诺夫的通用归纳与序贯决策理论相结合就得到了通用智能模型AIXI。序贯决策理论研究的是在客观概率分布已知但具体状态不确定的动态环境中，主体如何寻求最大化期望效用。它从初始状态开始，每个时刻根据所观察到的状态和以前状态的记录，依照已知的概率分布，从一组可行方案中选用一个能够获得最大化期望效用的最优方案，接着观察下一步实际出现的状态，然后再作出新的最优决策，如此反复进行。但最关键的问题是，如果这种客观的概率分布未知怎么办？这时我们能否借助某种“主观”概率代替“客观”概率，然后在这种“主观”概率下寻求期望效用最大化？这恰恰是索洛莫诺夫的“算法概率”大显身手的地方。那么，“算法概率”究竟是何方神圣呢？顾名思义，它是某种与算法相关的概率，可概率又是怎么与算法扯上关系的呢？我们知道，如果已知信源的概率分布，那么可以设计某种使得期望码长最短的最优码，比如霍夫曼码。笼统地说，这是通过对高概率事件赋予短编码、对低概率事件赋予长编码实现的，而算法完全可以理解为其“输出”的“编码”。如果我们把借助已知概率设计最优码的过程反过来，设想首先知道的不是概率而是编码（算法），那么就可以通过算法反向诱导出某种主观概率，然后对所有可能的算法诱导出的所有可能的主观概率进行加权平均，就得到了索洛莫诺夫的“算法概率”。但为什么这种把霍夫曼编码思想反过来诱导出的概率会有用呢？因为科学是压缩的艺术，简单性是科学的基本假设，探索世界背后的运行模式就是在寻找简单的算法。把短的算法赋予高的概率诱导出的是一种对各种可能世界或猜想的“先验信念”。这体现的正是奥卡姆剃刀的简单性哲学，而算法概率正是综合权衡了各种可能的算法诱导出的各种可能的主观概率。归纳是一个不断试错的学习过程，算法概率使得我们可以根据经验不断“修正信念”、逼近“真理”。有了算法概率做武器，再借助序贯决策理论帮助我们追逐效用，能够自动适应各种可能环境的超级智能体AIXI就诞生了。 简言之，通用智能的核心是通用归纳。通用归纳将归纳转化为预测，而预测的关键是压缩。压缩可以理解为对数据的建模或编码表示，它依赖于对模式的掌握，模式可以用算法来衡量。从数据到程序是编码，从程序到数据则是解码。编码越好（即压缩越短）则预测越准，预测越准行为就越有效。与智能相关的其他要素，诸如分类、类比、联想、泛化等都可以理解为对模式的追求，这些都可以在追求最大压缩的过程中涌现出来，所以不是基本的。但找寻最短编码的过程不是一个能行的过程，所以我们只能通过试错不断逼近。逼近的过程可以理解为一个信念修正的过程，这可以通过贝叶斯更新来处理，信念修正之前的“先验信念”的大小则取决于模式自身的简单性。
==========
- 您在位置 #2141-2144的标注 | 添加于 2017年1月17日星期二 下午7:58:58
通过这几道智商测试题我们看出，要解决序列预测问题，这里涉及的不是一个问题而是两个问题。 如何寻找以递推公式为代表的“能行”的“模式”？ 如果递推公式（“能行”的“模式”）不唯一该如何取舍？
==========
- 您在位置 #2164-2169的标注 | 添加于 2017年1月17日星期二 下午8:00:19
在无穷多的“机械”的“数学规律”之间，莱布尼茨动用了奥卡姆剃刀——强调简单性的标准，认为规则之所以为规则就必须简单，如果允许任意高程度的复杂性，那么规则也就不能称其为“规则”而趋近“随机”了，规律性的缺乏或者说复杂性的过高将导致混沌甚至“随机”。 在真正的原因不明朗的情况下，对于一个表述简单但解释力、预测力强的假设，如果所有已知的现象都跟它相符合，而没有现象与它相违背，那么，在实践过程中，在与此矛盾的现象产生之前，这个假设就可以暂时拿过来当原因用。
==========
- 您在位置 #2170-2180的标注 | 添加于 2017年1月17日星期二 下午8:01:22
科学哲学家波普尔就以其对科学方法论的研究而著称。他认为，科学的发展遵循如下规律： 针对问题P1, 可以提出许多相互竞争的可错的猜想/假设或尝试性的理论T, 然后逐一考察这些理论，根据当前的观测消除错误排除掉那些与现象不相容的猜想。对于那些能够解决现存问题的理论排一个序，可证伪性越高的理论越值得重视，然后再用它们进一步尝试解决产生的新问题P2。随着问题的不断深入，越可证伪但能够经受得住严格的反复检验的理论越逼近真理，科学就这样通过试错法不断前行。这种不断提出猜想反复试错的过程类似于生物的基因变异与自然选择的进化过程：适合生物生存的变异基因得以保存，不适合的被淘汰；适合解决问题的理论得以留存，不适合的被排除。作为“全称”命题的真理不能被有限的事例证明，但可以被证伪，所以在此过程中重要的是对问题求解的适应性，而不是寻求一劳永逸的证明。但可证伪性是一个纯粹主观的概念，往往认为越简单的理论越可证伪，也就是说，各种理论猜想是按照简单性排序的：，但简单性同样缺乏一个客观的衡量标准。
==========
- 您在位置 #2185-2188的标注 | 添加于 2017年1月17日星期二 下午10:58:59
格式塔心理学家们通过一系列实验总结出，人在知觉时倾向于按照一定的模式把感觉材料组织为一个有机的整体，而不是知觉为一堆个别的感觉材料的简单集合。人在将感觉材料组织为整体的过程中，一般遵循接近法则、连续法则、闭合法则、经验法则、相似法则、对称法则等，而这些都可以看作完形趋向法则的不同表现形式，也就是人的认知有趋向于简单有序、闭合完整的倾向。
==========
- 您在位置 #2275-2278的标注 | 添加于 2017年1月17日星期二 下午11:04:21
“可计算”的概念相当稳定，上面提到的理论R是一个非常弱的形式系统，比鲁滨逊算术还弱，而鲁滨逊算术又远弱于我们常见的皮亚诺算术，但任何比它强的系统，不管有多强，最后“可表示”的函数都是一样的，都是递归函数，也只有递归函数形式系统“可表示”。
==========
- 您在位置 #2669-2671的标注 | 添加于 2017年1月21日星期六 下午10:32:16
隐含层也被称作特征探测器（feature detector）。通常隐含层中的神经元数目要比输入/输出层少，这是为了使神经网络只去学习最重要的特征并实现特征的降维。
==========
- 您在位置 #2886-2887的标注 | 添加于 2017年1月21日星期六 下午10:49:48
不同语言在这个向量空间中有很多相似之处。这意味着两种语言的转换过程类似于两个向量空间的转换过程。
==========
- 您在位置 #3009-3013的标注 | 添加于 2017年1月21日星期六 下午10:54:01
在识别的绝对数量这个问题上，由于各种条件的限制，人和计算机相比恐怕稍逊一筹，但是在识别的智能化方面，人的优势就很明显了。更重要的是，人的识别依靠的是多感官信息，如图7-3所示，视听觉信息甚至触觉信息在识别和再认方面都起了很大作用，而计算机目前的识别还主要依靠视觉信息，在听觉方面利用的往往是语音，在跨通路的概念表征问题上还没有很大的进步。
==========
- 您在位置 #3145-3153的标注 | 添加于 2017年1月21日星期六 下午11:02:44
在物体识别过程中，前景和背景分割过程扮演着很重要的角色。这也是人的识别鲁棒性的重要体现，特征提取和去噪是同步完成的，即在对感兴趣的物体进行表征的同时完成了背景噪音的去除。这里重要的结构特点就是前景信息的表征，其中囊括了大量细节信息的表征，还有注意过程的参与——我们感兴趣的区域的表征是更精细的，这有助于我们看清楚想要关注的人的面孔，对于背景信息，则至多只会保持大尺度的轮廓。 前景的判断是人类经过亿万年学习的，进化出了对特定信息敏感的神经元，并经过遗传进化一代一代优化到今天。而背景的分割和遮挡信息的处理则是人特殊的表征机制在起作用，虽然当前物体不完整，但是丝毫不影响我们利用已有的信息对其进行脑补，这一机制虽然还没有研究清楚，但是特征补全机制对于擅长大数据的计算机科学家来说并不陌生。而人类亿万年所“处理”的物体和人脸绝对可以称得上是大数据，只是在存储和特征利用方面更有效，将最核心的信息巧妙地通过生理结构固化下来。
==========
- 您在位置 #3154-3161的标注 | 添加于 2017年1月21日星期六 下午11:03:17
注意”实际上是一种资源调度和分配的过程。长期的进化过程，特别是残酷的自然选择过程为我们优化出了高级的注意功能，既要保持对当前加工任务的资源投入，又要时刻警醒外界刺激。对有威胁性的刺激，要及时打断当前任务，快速作出响应。很多人工智能系统，如果能借鉴“自上而下”和“从底至顶”两个注意通路的特点，对于复杂识别和追踪问题的解决将有重要意义。也许人工智能要做的并不仅仅是实现和人相同的注意功能，甚至不需要引入“注意”这样一个概念，但是类似的高度智能化的“进程调度”也许是必要的，它不是按预设顺序进行的过程化加工，也不是单片机中随意粗暴的“中断”，而应该是对当前任务特点、重要性和后果有一个综合评价之后得出的优化结论，而这些都需要高级的调度与底层的任务之间保持良好的交互机制。
==========
- 您在位置 #3236-3249的标注 | 添加于 2017年1月21日星期六 下午11:09:23
在处理人和计算机的关系问题上，一种办法是模拟人的思维过程，利用从结构到功能的特点，实现类似的智能。人类在这一关系中处于服务对象角色，最近十分热门的深度学习属于这一类的实例。还有一种想法是直接利用人的认知功能，将部分计算机不适宜完成的复杂的计算任务由人来完成，人直接参与到了计算之中，与计算机各自分工。这类有人脑辅助的“认知计算”研究也已经取得了很多成果。例如，美国EGI公司利用人的超强图像处理能力从海量遥感卫星获取的图像中检索异常物体，用快速视觉呈现的方式将大量卫星图片呈现给参与实验的人。与传统人工操作相比，这家公司在人进行检查的同时记录了人脑活动的脑电波，一旦发现异常物体，脑电信号中会有特异性反应成分。而这套系统的另一个优势是直接检测脑活动，可以不需要人的意识参与，能够在刺激呈现后短时间内发现异常，并且在前一幅图片加工完之后马上呈现另一幅图片，而无需等人按键决策。通常需要人作出决策、按键反馈等高级认知加工需要耗费很多时间，而直接利用脑的识别功能，绕开耗时的决策和反应，与计算机对接，就极大地提高了检测效率。类似地，美国哥伦比亚大学的Paul Sajda教授研究组进行了很多利用视觉信息进行物体快速归类的实验。近年来还利用人对物体类别感知过程的脑活动特征建立了数据库，实现了利用人特征进行图片检索的引擎。还有一部分认知计算应用是利用人的认知活动直接为人服务的，例如计算出人的情绪活动的状态，给予人实时的反馈调节，协助用户找到保持良好状态的策略（例如Neurosky的系列产品）。这种神经反馈的应用已经用于情绪调节和注意力训练等领域，无一不是恰当地利用了人的认知优势，实现了有机的人机协同。
==========
- 您在位置 #3385-3393的标注 | 添加于 2017年1月22日星期日 下午8:28:08
对于程序来说，无论是玩家玩这个程序，还是程序员更改它，其实都体现为键盘或者鼠标上面输入的电信号。也就是说，其实计算机程序从来都不区分玩家和程序员，这种区分恰恰是我们人类做出来的。 那么，我们就来做这样一个假设，既然玩家和程序员本质上没有任何区别，那有没有可能玩家就是程序员本身呢？这样，图8-3就可以变成图8-5。 图 8-5 化简的人与程序的关系 这里的玩家就是一种广义的玩家，他既是普通意义上的玩家（程序的使用者），又是普通意义上的程序员（程序的构建者或修改者）。进一步，从时间上来看，我们也就不再区分开发/调试与使用/玩这两个不同的步骤了，于是图8-4就变成了图8-6。
==========
- 您在位置 #3402-3409的标注 | 添加于 2017年1月22日星期日 下午8:28:21
但是，如果读者稍懂一些计算机原理就会发现，运行中输入的数据与程序的源代码其实是不能如此等同的，这是因为对于程序来说，这两套数据实际上是处于不同的层次之上的。运行中输入的数据传递给了程序的“软件层”，而该程序的源代码相当于该程序的“硬件”，它在运行起来以后就不能修改了。这似乎是一个不能逾越的障碍。 然而，其实图灵早已经帮我们解决了这个问题。因为，图灵发明了所谓的通用图灵机（Universal Turing Machine，参见本书第2章）。通用图灵机好比是一个空空的平台，它不必实现任何具体的计算任务，但却可以模拟任意一台图灵机的运作。于是，当你想让通用图灵机实现某一种计算，例如x+y的时候，你只要把相应的编码输入给它就可以了。这样，对于通用图灵机来说，运行中输入的数据的确与修改程序的指令是等价的。
==========
- 您在位置 #3413-3419的标注 | 添加于 2017年1月22日星期日 下午8:29:02
通用图灵机需要有一套特定的编码才能够把输入的符号转变成有效的程序。而这一套编码显然不是给玩家设计的。所以，我们将一般的交互（玩）交给了玩家，而把特殊的改进程序的交互（编程）交给了程序员。于是，程序员和玩家的区分、开发/调试和使用/玩的区分出现了。 如果看清楚了这一点，我们就不难明确我们要改进的方向了。我们最需要做的实际上是要让编程与玩之间的区分变得越来越模糊。那么，对于程序来说，它应该逐渐进化成越来越友好的形式；而对于人来说，它应该越来越熟悉机器的秉性，知道如何与机器打交道。这样，人和机器才能耦合在一起完成协同的进化。这种协同进化的前提是要让计算机程序充分地利用起交互这种资源。
==========
- 您在位置 #3509-3512的标注 | 添加于 2017年1月22日星期日 下午8:31:33
诺贝尔经济学奖得主郝伯特·西蒙（Herbert Simon）早在1971年的时候就指出：“在一个信息丰富的世界中，拥有信息财富就意味着另外一些东西的匮乏：所有那些信息所消耗的东西。这就是注意力。因此，信息的富足必然导致注意力的稀缺，这也就使得如何能够在过载的信息资源上面有效地分配注意力变得极其重要。”
==========
- 您在位置 #3682-3683的标注 | 添加于 2017年1月22日星期日 下午8:38:04
如果同时考虑在同一时间内大量用户的游走，就得到一个流网络。这个流网络实际上反映了用户的集体注意力在不同新闻故事之间的分配和迁移。
==========
- 您在位置 #3721-3737的标注 | 添加于 2017年1月22日星期日 下午8:40:34
20世纪50年代以来，人们利用各种地理勘测方法对河流系统进行了研究，发现了一些在不同河流系统中都存在的普适规律，其中一条就是Hack定律。这条定律指出，在河流网络中，支流的长度（stream length）L 和相对应的蓄水盆地面积（basin area）a 之间存在如下标度关系： 其中h的数值在大多数水系的实证数据中都被测为0.6左右。 图9-9展示的是意大利北部一条叫Fella的河的河流网络。右上角的小图突出展示了主干流的长度和盆地面积。本数据中 h 的估计值为0.57～0.6。当然，在实证研究中，仅仅研究一对 L 与 a 的关系是不够的，需要对网络中的每一条支流进行测量，得到许多对L与a的关系，才能使用双对数坐标系下最小二乘回归等方法对标度指数 h 作出一个比较合理的估计。 图 9-9 意大利北部Fella河的支流结构（图片来自Maritan et al., 1996） 实测的 h 指数在0.6左右，这引起了科学家们的兴趣。因为如果我们生活的世界是严格意义上的欧氏几何世界，那么河流相当于一维对象，盆地相当于二维对象，河流长度与盆地面积之间的标度关系，理论上应该是正方形的边长与面积之间或者圆形的直径和面积之间的1/2幂律关系。当面积变成原来的4倍时，边长只变成原来的41/2 = 2倍。h 不等于1/2引发了科学家们对河流网络其实是一个分形结构的猜想。如果我们认为河流盆地是一个如此复杂起伏不平的二维分形对象，以至于分形维数接近于三维，并且认为河流是一个非常复杂的一维对象，以至于分形维数接近于二维，那么0.6 左右（约等于 2/3）的指数就可以理解了。
==========
- 您在位置 #3741-3755的标注 | 添加于 2017年1月22日星期日 下午8:42:28
Kleiber定律预测生物体的能量消耗 F 和体积 M 之间存在如下关系： 其中 s 的数值在大多数生物的实证数据中都被测出是0.75左右。注意标度律往往使用双对数坐标系表示，因此一个坐标轴上右移一个单位代表升到一个新的量级。从图9-10的横轴中可以看出来，从单细胞生物到大象，这个定律横跨了接近30个量级，接近从沙粒到银河系的量级跨越。在亿万年的漫长进化时间中，沿着完全不同分支进化出来的生物体，居然能在如此惊人的空间尺度上，保持着稳定的规律，这无疑是非常令人吃惊的。 以Kleiber定律为基石，West和Brown提出了生物的“新陈代谢理论”（metabolic theory）。他们收集了大量数据证明，生物体的运动、发育、繁衍中的各项指标，例如心跳速率、生命长度、发育成熟时间、种群数量等，都与体积有着可预测的标度关系，这些标度关系都可以从Kleiber定律中推演出来，就好比可以从牛顿定律中推导出椭圆形的太阳系行星运动曲线一样。 Kleiber定律既然如此重要，West和Brown等人自然也提出了理论，希望能对其成因进行解释。如果我们把生物体的能量消耗看作与其皮肤面积成正比的一个量，那么，根据在Hack定律的例子中讨论过的欧氏几何的猜想，能量消耗 F 和体积 M 之间应该是2/3的标度关系。实测的0.75 = 3/4的标度指数令人再一次想到分形结构：如果考虑到皮肤不是光滑的而是起伏不平的二维结构以至接近三维，生物个体则是非常复杂的三维结构以至接近四维，那么3/4的标度指数就可以理解了。
==========
- 您在位置 #3738-3759的标注 | 添加于 2017年1月22日星期日 下午8:43:14
除了河流网络之外，人们又在大自然许多其他的流网络中发现了类似于Hack定律的标度律，Kleiber定律就是最著名的一个例子，如图9-10所示。 图 9-10 从单细胞生物到大象都满足的Kleiber定律（图片来自West & Brown, 2005） Kleiber定律预测生物体的能量消耗 F 和体积 M 之间存在如下关系： 其中 s 的数值在大多数生物的实证数据中都被测出是0.75左右。注意标度律往往使用双对数坐标系表示，因此一个坐标轴上右移一个单位代表升到一个新的量级。从图9-10的横轴中可以看出来，从单细胞生物到大象，这个定律横跨了接近30个量级，接近从沙粒到银河系的量级跨越。在亿万年的漫长进化时间中，沿着完全不同分支进化出来的生物体，居然能在如此惊人的空间尺度上，保持着稳定的规律，这无疑是非常令人吃惊的。 以Kleiber定律为基石，West和Brown提出了生物的“新陈代谢理论”（metabolic theory）。他们收集了大量数据证明，生物体的运动、发育、繁衍中的各项指标，例如心跳速率、生命长度、发育成熟时间、种群数量等，都与体积有着可预测的标度关系，这些标度关系都可以从Kleiber定律中推演出来，就好比可以从牛顿定律中推导出椭圆形的太阳系行星运动曲线一样。 Kleiber定律既然如此重要，West和Brown等人自然也提出了理论，希望能对其成因进行解释。如果我们把生物体的能量消耗看作与其皮肤面积成正比的一个量，那么，根据在Hack定律的例子中讨论过的欧氏几何的猜想，能量消耗 F 和体积 M 之间应该是2/3的标度关系。实测的0.75 = 3/4的标度指数令人再一次想到分形结构：如果考虑到皮肤不是光滑的而是起伏不平的二维结构以至接近三维，生物个体则是非常复杂的三维结构以至接近四维，那么3/4的标度指数就可以理解了。 但是，如果说“非常复杂的二维结构接近三维”还似乎可以理解的话，“接近四维的三维”究竟是一种什么样的东西是难以想象的。这一点即便在West 1999年的文章“生命的第四维度”（The Fourth Dimension of Life）中也是语焉不详。所以后来West和Brown还是另辟蹊径，从生物内部的毛细血管网络着手，建立理想输送网络模型来解释这个3/4标度的形成。
==========
- 您在位置 #3760-3764的标注 | 添加于 2017年1月22日星期日 下午8:43:32
继河流网络和生物体内新陈代谢网络之后，科学家们在食物网、城市交通输运与国际贸易网络中都发现了类似于Kleiber定律的标度律。实际上，Hack定律与Kleiber定律是类似的，都是描述在时空结构约束下的流网络“流量”与“存量”的关系。 那么，一个注意力流网络的注意力流量和存量分别对应着什么呢？我们发现，当我们仅考虑最基本的点击行为时，其实它们正对应着工业界非常关心的两个指标：UV（Unique Visitors，独立用户数）和PV（Page Views，页面点击率）。
==========
- 您在位置 #3765-3772的标注 | 添加于 2017年1月22日星期日 下午8:44:50
图9-11a是香港的地铁路线图，图9-11b是上海某商场。它们虽然可以看作某种人流输运系统，却有着非常不同的功能。前者的设计目的是最小化存量，后者的设计目的是最大化存量。 图 9-11 香港地铁（a）与上海商场（b）的比较 香港地铁因便捷的换乘机制而著名。在各个主要换乘站（不同颜色的地铁路线交接的地方），同层月台的另一端并不是该路线的回程车，而是另外一个路线的列车。这是符合常识的，我们可以假设大部分在换乘站下车的旅客都是为了去另外一个路线，而不是往回坐。于是这种换乘设计使得大部分乘客只要走几步到另一端月台等候就可以了。如果月台两端列车同时抵达，乘客甚至不必在地铁站内等候逗留，在几十秒内就可以完成换乘任务。
==========
- 您在位置 #3776-3778的标注 | 添加于 2017年1月22日星期日 下午8:45:03
与地铁最小化存量的优化思路相反，商场的设计则遵循截然不同的价值观。如图9-11b 所示，我们见到的大部分商场，往往是上楼的电梯聚集在商场的一端，下楼的电梯聚集在另一端。这是为了强迫顾客经过商场的各个柜台。有些极端不友好的商场，故意把电梯藏在迷宫般的一大堆柜台里面，顾客不绕遍所有柜台就找不到离开的路。
==========
- 您在位置 #3779-3784的标注 | 添加于 2017年1月22日星期日 下午8:49:15
假设地铁和商场的人流达到了一种动态平衡，即进入系统的人数保持相同的规模，这就相当于网站的UV，在系统内逗留的人数相当于网站的PV，所以这两者的关系就相当于Kleiber定律中能量消耗F和体积M的关系。如果Kleiber定律在注意力流网络中也存在的话，应该有以下关系： θ代表网络的粘性，应该是大于1的，这是因为在Kleiber定律中如果我们把体积M写成能量消耗F的函数，则指数是4/3 ~ 1.33。
==========
- 您在位置 #3790-3796的标注 | 添加于 2017年1月22日星期日 下午8:49:52
根据我们对地铁和商场设计的讨论可知，虽然 θ 是网络社区在时间增长中表现出来的标度指数，但它本质上取决于流结构的设计。在研究中我们使用另一个标度律来刻画这种流结构设计中最重要的性质：流的耗散。 η 越大，说明耗散得越厉害，越接近于地铁而不是商场的设计，此时 θ 的数值就应该越小。实际上，我们还可以从网络的流守恒中推导出如下关系：当η>1时，1/η<θ<1；当η<1时，1 <θ<1/η。如图9-12c所示，我们关于耗散与流存量增长之间的关系猜想也被贴吧的数据证实了。
==========
- 您在位置 #3797-3799的标注 | 添加于 2017年1月22日星期日 下午8:51:14
对流网络中标度律的探索，从历史上看，前后将近20年的时间，经历了从各个学科中各自探索到大家达成共识的过程。最后的这个共识就是标度律实际上是空间维度约束下的最优化输运网络的表现。
==========
- 您在位置 #3802-3810的标注 | 添加于 2017年1月22日星期日 下午8:52:09
20世纪90年代，Rinaldo等人提出了一个模型，称为最优化输运网络（Optimal Channel Network，OCN）。他们讨论了河流中的Hack定律等标度律（式(1)和式(3)），并发现这可能是输运网络最小化输运成本的结果。 图9-13展示了三种不同的输运结构。假设中心是汇，周围充满六角形空间的小点是源，我们的任务就是要设计一种最佳网络来完成从源向汇输运流的任务。我们发现，最上面的结构总成本最小（使用的总连边数），但平均成本最大（汇到源的平均距离），第二个结构则相反。只有第三个结构将两个成本都降到了最低。论文中作者比喻道：第一个好比是计划经济，总体高效，但个人不一定高效；第二个结构好比是完全自由的市场经济，大家各自为政，虽然每个源都很高效地完成向汇输送流的任务，总体上看却造成了资源的浪费；第三个结构因为使空间上临近的点相互配合，所以使宏观和微观上的成本都最小化了。
==========
- 您在位置 #3812-3819的标注 | 添加于 2017年1月22日星期日 下午8:53:26
Rinaldo等人发现，给定一个二维网格结构，从中生成一个扩展树（每个节点都只拥有一条连边），可以定义出当前链接状态 s 的能量E (s)： 其中 Ai 是节点 i 上的直接流量，在二维网格上等于i的所有下游节点数之和。因为所有下游的节点都需要从 i 获取流量。δ 根据实际河流网络中的经验数值一般取0.5。当网络能量最小时，就能得到Hack定律。更令人惊奇的是，如果我们使用线条的粗细来表示流量的话，此时的网络结构（见图9-13b）长得十分像真实的河流网络。
==========
- 您在位置 #3810-3810的标注 | 添加于 2017年1月22日星期日 下午8:53:42
=========
=
- 您在位置 #3829-3841的标注 | 添加于 2017年1月22日星期日 下午8:55:34
Banavar等人在1999年提出了一个比West的毛细血管更广义的模型。他们首次把Hack定律和Kleiber定律放在一起讨论（见图9-15），并指出在流系统中，流量 F 和存量 M 总存在幂律关系 其中 D 是流系统所在空间的维度。接着，他们用一套非常简洁的思路指出，这个指数是最小化流传输成本的必然结果。他们假设流网络存在于一个 LD 的空间中，其中 L 是一维长度，网络的汇（sink）均匀地分布在空间中，因此有 N = LD 个。最无效的流系统就是像图9-15a右下角的挤满整个空间的链状结构，汇到达中心源的平均长度是 l = LD，为了给所有的汇输运总量为 F 的流，所需要的存量成本是 M = lN = LD+D =(LD)2= F2。最有效的流系统是像左下角的星状网络，汇到中心源的平均距离是L，因此输运总量为 F 的流所需要的成本是M = lN = L1+D = (LD )2(D+1)/D = F (D+1)/D。 图 9-15 不同效率的输运网络（a）和河流的Hack定律（b）（图片来自Banavar et al., 1999）
==========
- 您在位置 #3863-3908的标注 | 添加于 2017年1月22日星期日 下午9:02:43
19世纪时，蒸汽机在工业与交通中的作用越来越重要，但工程师走在了科学家的前面，关于蒸汽机是如何把热变为功从而驱动机械的一般理论还没有形成。出身于法国军队的工程师卡诺（Carnot）在1824年出版了《关于火的动力的思考》，记录了他关于热变成功的科学模型。 卡诺指出，凡有温度差就能够产生动力；反之，利用动力也总能形成温度差。他构造了一个充分利用热源与冷源之间温度差的机器，即卡诺热机（见图9-17），并且认为这个热机的效率已经达到最大。为什么呢？因为这个热机是“可逆”的，即这个把热变成功的“蒸汽机”可以反过来变成“空调”，把功变成热。我们称逆卡诺热机为卡诺冷机。把一个卡诺热机和一个卡诺冷机结合在一起，构成一个静止的系统，不能对外输出功，也不需要从外界吸收功，但这个系统的热源和冷源之间是没有热量交换的，所以热源和冷源的温度都不会变化。假设有人声称造出比卡诺热机更高效的热机，我们把这个超级热机和一个卡诺冷机配在一起，构成一个系统，这个系统与外界没有功的交换，却可以把热量从冷源带向热源，使得两端的温差变大。但我们知道宇宙间不可能存在这样的系统。通过思想实验，卡诺证明了热转化为功的极大效率仅仅与温差有关系，与工作物质和热机的具体结构和材质无关。 图 9-17 卡诺热机是理想热机 回顾完卡诺热机的原理后，我们可以思考这样一个问题：什么是热？其实热是大规模分子运动的一种宏观性质。比如有两杯水，一杯水中的水分子比另外一杯水中的运动更剧烈，就是更热，两杯水混在一起，就形成一种“梯度力”。运动快的分子向运动慢的分子扩散，这就是一种“热流”，最后梯度力消失，所有分子的运动速度趋于一致。从这个例子可以看出，其实卡诺热机不仅可以描述热与功之间的可逆循环，实际上可以描述任意“梯度力”与功之间的可逆循环。例如在化学里，分子浓度形成的梯度力也是可以做功的，同样也受热力学第二定律的制约。 我们前面已经回顾了把用户的集体注意力看作“流”的做法，并且描述了注意力流的一些定量规律。这些规律仅仅涉及了注意力流的量，而没有涉及注意流的质。实际上，我们可以把用户的注意力看作“热源”与“冷源”，而网站或者一般信息系统就是把注意力转化为信息资源的“注意力卡诺热机”（见图9-18）。它会在用户进行编辑维基百科或对帖子发表评论等各项互联网活动中，不断地输出信息，最终注意力质量不断下降，产生神经和机体上的疲劳，直至离开网络。这个过程就好比热机做功、散发废热一样。 图 9-18 作为注意力热机的大脑5 5图片来源：https://www.behance.net/gallery/7209415/BRAIN-ENGINE。 如果注意力热机存在，我们可以推测注意力冷机也存在。与热机相反，注意力冷机则是吸收信息，提升注意力的质量。打个粗糙的比方，如果注意力热机对应着“工作”，注意力冷机则对应着“娱乐”。从这里我们可以试着去解释两个现象。为什么用户花越来越长的时间沉浸在网络上？其实是因为“热机”和“冷机”相互结合，当输出一些信息，处理一些数据，大脑注意力下降之后，就可以通过输入一些信息来重新提升注意力质量。如此循环，就可以长期工作。另外一个现象是社交网络的火热和维基百科等在线协作、交流系统的兴起。从注意力机器的角度来理解，就好比是许许多多的注意力“热机”和“冷机”搭配在一起，一个人的信息输出成为另一个人的信息输入，从而维持用户大脑的集体兴奋。当然，目前来看，这样的系统仍然需要外界能量的维持。但是，可以想象随着人类社会的演化，大规模注意力机器集群的配置不断优化，维持集体兴奋的效率应该会越来越高，对外界能量输入需求的要求也会越来越低。 卡诺热机对我们起码有两个启发。首先，它通过引入可逆循环指出了热机的极限效率。那么，网站在把用户注意力转化为信息方面，是否也存在一个极限效率呢？如果把用户的注意力流量看作投入，把注意力存量看作对产出的一种衡量，那我们之前讨论的标度律指标，是否就是网站作为注意力热机的“效率”呢？如果我们知道这个效率的理论极限是多少，就可以讨论不同网站如何优化信息产出的效率了。 当然，要搞清楚理论极限，首先要定义出“可逆循环”，我们目前对注意力流是如何实现可逆循环的，尤其是“注意力冷机”的工作原理，仍然不清楚。其次，卡诺实际上通过极限效率指出了热力学第二定律。直到出现了玻尔兹曼从统计的角度进行解释，从而创造了统计力学，热力学第二定律才完全显示其威力。我们现在面临的情况与卡诺十分类似，信息革命取代了当年的工业革命，信息推荐系统和各种机器学习方法都好比是当年层出不穷的各种热机。然而，人们对于注意力的基本原理的了解比当年对热的基本原理的了解还要缺乏。从卡诺热机的角度研究注意力机器，有可能开辟一个非常深刻的新角度来回答智能的秘密，就好像热力学和统计力学对大自然秩序的产生做出的精彩回答一样。
==========
- 您在位置 #4041-4043的标注 | 添加于 2017年1月22日星期日 下午9:43:19
无论使用何种方法探究处理自然语言的过程，都需要面临最根本的问题：理解语法和语义——语法表现为句法结构，语义表现为语义结构。可以说，句法结构分析和语义结构分析是公认的自然语言处理（语言计算并不仅仅是现代自然语言处理）的基础任务。
==========
- 您在位置 #4233-4240的标注 | 添加于 2017年1月22日星期日 下午10:17:08
粒度或层级是自然语言处理的又一个核心问题。不同的研究方法在不同粒度上运行的效果是不一样的。这一点带来的问题在社交网络的文本处理中尤为突出。社交网络的典型代表微博（microblog）平台中（如推特和微博）的短文本问题带来的挑战是巨大的。140字的文本长度使得歧义性更为普遍。为了消除歧义性和进一步挖掘潜在语义，人们开始尝试添加更多的外部信息和外部知识的手段。外部知识和外部信息可以大致分为社交网络无关和社交网络相关两类：前者是通用的语义语法的结构化定义的添加，代表工作有Mimno、 Zhiyuan Chen 和 Jerry Zhu；后者是将社交网络相关的用户行为和用户信息加入研究模型。在这里，复杂网络研究和社会学理论都有了不错的进展，代表工作有MinghuiQiu融合了用户行为分布的 behavior-topic model 和 Yan Liu 融合作者信息和学术社区的 Topic-link LDA。
==========
- 您在位置 #4301-4303的标注 | 添加于 2017年1月22日星期日 下午10:20:25
在一系列影响广泛的复杂性研究工具（包括多主体、复杂网络、人类行为动力学、经济物理等）被提出之后，群集智能作为集体行为研究的一个副产品也被提出来了，并最终成为实现智能的另类途径。
==========
- 您在位置 #4534-4538的标注 | 添加于 2017年1月22日星期日 下午10:35:15
智能群体是一类典型的自组织系统。自组织系统的重要特征是群体本身能够进行自控自调，而不是由一个指挥者统一指挥或领导。群体首先通过个体之间的相互寻找、识别、协同运作达到一个稳定结构，然后随着环境的变化，以自身为参考系不断协同运作达到一个新的稳定结构。智能群体行为的另外一个特点是异步并行操作。群体中每个个体的决策与行动是各自独立的，独立进行各自的调节更新，没有先后顺序，也不需要同步进行。智能群体还具有很强的自我维持能力，不会因为某些个体的死亡或受损而使得整个群体混乱或崩溃。
==========
- 您在位置 #4528-4533的标注 | 添加于 2017年1月22日星期日 下午10:35:30
我们把自然界中这种通过群集行为的方式所表现出的能力叫作群体智能（Swarm Intelligence），并把具有群集行为的生物群体叫作智能群体（Smart Swarm）。一般来说，智能群体是指由大量低智能个体通过个体之间的局部相互作用使得群体表现出高智能性的动力学系统。智能群体具有两个显著特点：一是个体层面的智能性低，但群体层面上的智能性却很高；二是虽然每个个体都是自私的，但群体内部会广泛存在利他性的合作行为。群体表现出的智能不是个体智能的简单线性求和，而是经由个体之间大量的局部相互影响相互作用后的非线性叠加。
==========
- 您在位置 #4577-4582的标注 | 添加于 2017年1月22日星期日 下午10:38:44
演化博弈论是博弈论与生物进化论结合发展起来的产物[7]。演化博弈论是以种群为研究对象分析种群中个体策略的动态演化过程。种群的策略演化过程既有选择过程又有突变过程。个体在演化过程中与其他所有个体进行博弈交互从而获取收益，即适应度。在自然选择的作用下，适应度越高的个体，它的策略越容易被模仿或者遗传，并能够最终发展成为所谓的演化稳定策略。值得一提的是，这里演化稳定策略的定义是针对个体数量无限大的种群，诺瓦克等人[8]给出了在种群中个体数量有限的情况下相应的演化稳定策略定义，进一步发展了演化稳定策略的理论。
==========
- 您在位置 #4585-4587的标注 | 添加于 2017年1月22日星期日 下午10:39:09
2006年诺瓦克在前人研究成果的基础上，在Science上发表综述文章，总结提出了五种有利于合作演化的机制[10]：亲缘选择、直接互惠、间接互惠、网络互惠和群选择。
==========
- 您在位置 #4585-4588的标注 | 添加于 2017年1月22日星期日 下午10:39:21
2006年诺瓦克在前人研究成果的基础上，在Science上发表综述文章，总结提出了五种有利于合作演化的机制[10]：亲缘选择、直接互惠、间接互惠、网络互惠和群选择。此外还有其他一些机制，如奖赏和处罚[11]，基于个体表现型特征的合作[12]等也得到了人们的关注和研究。
==========
- 您在位置 #4626-4628的标注 | 添加于 2017年1月30日星期一 上午11:07:50
自组织 + 自私个体是群体智能的重要特征。一方面，群体中的个体只是遵循简单的规则，就能够使群体中涌现出复杂且有效的群集行为，即自组织。另一方面，生物群体中的个体都具有自私的本性，都是期望自身利益最大化的理性个体，而合作行为却能够在自私个体间演化产生并最终在整个种群中涌现。
==========
- 您在位置 #4641-4644的标注 | 添加于 2017年1月30日星期一 上午11:12:06
进一步地，我们以一次环形编队任务为一次博弈过程，定义机器人走过的路程总和的相反数为机器人的收益，即走过的路程越长，收益越低。为简化模型，我们限定每个机器人的策略是一个有限集合{0,0.1,0.2,…,0.9,1}。每执行一次编队任务，就是一次博弈。之后，每个机器人计算各自的收益，然后和两个邻居的收益相比较，选取收益较大的机器人作为学习的对象，以一定的概率调整自己的策略值向其靠近0.1，这样构成一个完整的演化博弈模型。
==========
- 您在位置 #4694-4695的标注 | 添加于 2017年1月30日星期一 上午11:13:02
混入仿生机器人的生物群体，同样能够产生群体行为，并且仿生机器人能够明显影响整个生物群体的行为。
==========
- 您在位置 #4719-4721的标注 | 添加于 2017年1月30日星期一 上午11:13:46
[14] 王晨. 多智能体系统的环形编队控制. 北京大学博士学位论文，2013. [15] Halloy J，Sempo G, et al. Social Integration of Robots into Groups of Cockroaches to Control Self-Organized Choices, Science，318(5853), p 1155–1158.
==========
查字典图书网
