Chapter 1:
在HPC上并行编程的范式，根据对于错误（比如，网络错误，硬件错误）的鲁棒性进行分类，主要可分为两种：
- 使用MPI编程，对网络或硬件错误是零容忍(zero tolerance)，但是提供一个非常灵活的框架
- 使用MapReduce(或者Hadoop)，对硬件或网络错误提供鲁棒性，但是值提供一个有限的并行编程模型。
Amdahl’s law: 并行执行最优的加速效果的上限由$\alpha_{par}$程序中可并行执行部分所占的比例所决定。
Gustafson’s Law: Scaled Speedup, Increasing Data Size with Resources