终极进化

大刘的中国2185和彩虹之门的地球纪元均对人工智能发展的路径有详细大胆的预测。
事实证明，多数人类对人工智能各种怀疑才是人工智能发展的障碍，就像一只甲虫想控制人类那么难。与其这样，不如将人工智能和自身结合，甚至全面放开人工智能的发展。不过这样的说法也是有些不负责，对生命不负责，对存在几百万年的人类文明不负责。
事实上，我正在看的这本书所有的人工智能也可以看到，包括我个人的一些想法，人工智能可以通过浏览我所有在虚拟世界和现实世界的行为来对我进行判断，更高级的人工智能甚至不需要与我本人接触就可以知道我的想法。
关于人工智能比较前沿的做法是，Elon Musk 带头投资10亿美金成立 open AI，研究人工智能的发展路线和危险控制问题，并且所有研究贡献都将开放。
另外一个发现是，虽然同样一本书，根据读者自身的价值观和知识水品，理解也各不相同。由于刚开始研究这个领域，有很多幼稚的判断希望大家能见谅。
下面是详细的各章节内容：
一：如何控制
1几条路线：
seed ai 模仿儿童到成人的学习成长
whole brain emulation 全脑仿真，技术难题比较多。
生物认知：提升生物大脑功能，基因操纵法，从实验，临床到大规模生产，还有道德因素，本世纪中叶很难完成突破。但技术上是完全可行。至少可以得到超级智能的初步状态
人机交互界面：并发症风险大，增强大脑极其困难，机器语言和人脑语言交流困难，最难的是大脑挖掘信息的速度。
网络和组织：联网人类大脑和人工产品和机器人。受个体影响大会走向其他道路，也可能会自然产生基于互联网的超级智能觉醒。
L p l超过所有现有认知系统。有点像人类社会的优点和缺点。
素质超级智能，一个至少和人类大脑一样快，并且聪明程度与人类比有巨大的质的超越系统。
3智能大爆发的动力学
缓慢的智能大爆发
迅速的智能大爆发
温和的智能大爆发
4决定性战略优势
探讨了超级人工智能是只有一个还是会同时出现多个，从国家地区和各个领域之间的历史上的竞争／保密和监管。认为某个大国优先创造出超级人工智能从而形成单边优势
5超级认知能力
探讨超级人工智能有哪些能力，这些能力用来做什么。
功能与超级能力：其和人类智能的差距大概事普通人和甲虫的差距
智能升级／战略策划／社会操纵／黑客技术／技术研发／经济生产
人工智能夺权场景：前临界阶段／递归性自我改良阶段／秘密准备阶段／公开实施阶段
6超级智能的意愿
我们能预测的是，智能体会追求用来实现其最终目标的工具性趋同价值观，而不是为了实现这个最终目标而采取的具体行动。
冯诺依曼探测器就是其最终目标的一种。
7结局注定是厄运吗
背叛转折：当人工智能较弱时，它会表现的足够合作，当人工智能足够强大时，它会在不给出预警也不做出挑衅的情况下，进行逆袭，建立单一体，并开始按照其最终价值观对世界进行改造。为此，第一，要使人工智能的最终目标具有易满足的特征，，第二，改进人工智能用来选择计划和行动的决策过程，而不是改变它的最终目标。（意即人工智能在做一件事时可能多半会现在虚拟世界里进行大规模的计算，单单是计算资源就会耗尽人类资源）
8控制问题
1. 能力控制方法（盒子方法／激励方法／阻碍发展／绊网）
2. 动机选择方法（直接规定／训话／间接规范／扩增）
9 神谕，精灵，主权，工具
1. 神谕：问答系统
2. 精灵：命令执行系统
3. 主权：为了实现某些笼统，可能非常漫长的目标，被授权可以无限在这个世界上运行的系统
4. 工具：即我们平时使用的各类软件
10多极情景
如果私有财产得不到完全的保障，例如一些高效的机器通过偷窃或骗术将财富从人类身上转移到自己手里，那么人类资本家大概就会更快的花掉自己的资产，以防止他们因这种转移而消耗殆尽。
即使多极状态可以在稳定的形势下达到，还是不能保证有一个具有吸引力的结局。最初的委托代理问题依然没有解决，并且其也将被一系列新的过渡时代全球协作的失败所带来的问题淹没，而后者只会让情况更糟。因此，让我们回到如何安全地保有单个超级智能的人工智能问题上。
11获取价值观
1进化性选择：根据一些相对简单的随机规则来省城新的备选者来降低备选者的数量，通过去掉那些在评估函数测试中得分很低的备选者来降低备选者数量。自然界是一个优秀的实验家，但从不考虑道德问题。不太有前途
2强化学习：机器学习。不太有前途
3联合积累机制观：有点像人类价值观的积累，基因和后天的经历共同形成。需进一步研究
4价值观学习；锦囊。有潜力。
5仿真调节：有点像药物治疗人脑道德问题
6体制设计：人类社会控制手段
7动机性支架：有前景
二：我们想要什么样的人工智能
12确定选择标准：我们想要怎样的人工智能（假设我们解决了控制问题）
人类既然是愚蠢，无知，思维狭隘的，我们就需要用探索间接规范的方法将决策权交给超级智能。
1认知遵从原则:超级智能的认知可能比我们要正确
2一致推断原则（CEV）：按我们所愿去推断，按我们所想去诠释。
   几本原理：容纳到的发展／避免劫持人类命运／避免提供人类为了初始机制而发生冲突的动机／让人类最终主宰自身命运／

我们没有必要设计一个高度优化的方案，相反，我们的重要应放在设计一个高度可靠的方案之上。可靠的设计具有足够的智慧，能够认识到自己的缺点。一个不完美的超级智能如果有着可靠的根本理念，就会逐渐完善自己。经过自我完善，它就能够对这个世界实施有益的优化影响，就像如果它一开始就是完美的一样。

13战略图景
总体科技发展的普遍战略概念和考虑：
差异技术发展：1技术实现猜想（如果努力没有停止，那么所有能够通过某种可能的技术获得重要基本能力最终都会实现。）2差异技术发展原则（减缓危险有害技术的发展，加速有益技术的发展）
宏观结构发展速度产生影响的主要方式是，通过影响面对关键步骤风险时人类所做准备的充分程度。
公共利益原则：超级智能的研发只能用来服务全体人类的利益和广泛共享的道德理念。
14关键时刻
在智能爆发的前景之下，我们人类像是拿着炸弹玩儿的孩子。最明智的方法是轻轻将炸弹放下，快速跑出屋子，并告诉距离最近的大人。然而我们身边都是孩子。惊愕和恐惧会有，但最适合的心态是：下定决心，发挥我们最好的实力，就像准备一场很难的考试一样，考试通过了梦想会实现，失败则梦想破灭。
保持我们的本性和常识，即使面对这个违反常情，有悖人性的挑战，也依然镇定自若。我们需要发挥人类所有智慧，来战胜这个挑战。