并行程序设计原理——1.1.5 并行计算和分布式计算的比较

如前所述，分布式计算和并行计算是不同的。 并行计算的传统目的是提供单处理器无法提供的性能(处理器能力或存储器);因此，它的目的是使用多处理器求解单个问题。而分布式计算的目的主要是提供方便，这种方便包括可用性、可靠性以及物理的分布(能从许多不同场所访问分布式系统)。 在并行计算中，处理器间的交互一般很频繁，往往具有细粒度和低开销的特征，并且被认为是可靠的。而在分布式计算中，处理器间的交互不频繁，交互特征是粗粒度，并且被认为是不可靠的。并行计算注重短的执行时间，分布式计算则注重长的正常运行时间。 当然，并行计算和分布式计算两者是密切相关的。某些特征与程度(处理器间交互频率)有关，而我们还未对这种交叉点(crossover point)进行解释。另一些特征则与侧重点有关(速度与可靠性)，而且我们知道这两个特性对并行和分布两类系统都很重要。由此可知，这两种不同类型的计算在一个多维空间中代表不同但又相邻的点。对并行计算(或分布式计算，但它不是本书的论述重点)越了解，在并行-分布空间中就越游刃有余。学习并行计算的基础对于无须改进性能的程序员来讲也是非常有用的。