并行计算

✍ dations ◷ 2025-04-26 22:34:37 #计算机科学,理论计算机科学,并发计算,分布式计算

并行计算(英语:parallel computing)一般是指许多指令得以同时进行的计算模式。在同时进行的前提下,可以将计算的过程分解成小部分,之后以并发方式来加以解决。

电脑软件可以被分成数个运算步骤来运行。为了解决某个特定问题,软件采用某个算法,以一连串指令运行来完成。传统上,这些指令都被送至单一的中央处理器,以循序方式运行完成。在这种处理方式下,单一时间中,只有单一指令被运行(processor level: 比较微处理器,CISC, 和RISC,即流水线Pipeline的概念,以及后来在Pipeline基础上以提高指令处理效率为目的的硬件及软件发展,比如branch-prediction, 比如forwarding,比如在每个运算单元前的指令堆栈,汇编程序员对programm code的顺序改写)。并行运算采用了多个运算单元,同时运行,以解决问题。

相对于串行计算,并行计算可以划分成时间并行和空间并行。时间并行即指令流水化,空间并行使用多个处理器执行并发计算,当前研究的主要是空间的并行问题。以程序和算法设计人员的角度看,并行计算又可分为数据并行和任务并行。数据并行把大的任务化解成若干个相同的子任务,处理起来比任务并行简单。

空间上的并行导致两类并行机的产生,按照麦克·弗莱因(Michael Flynn)的说法分为单指令流多数据流(SIMD)和多指令流多数据流(MIMD),而常用的串行机也称为单指令流单数据流(SISD)。MIMD类的机器又可分为常见的五类:并行向量处理机(PVP)、对称多处理机(SMP)、大规模并行处理机(MPP)、工作站机群(COW)、分布式共享存储处理机(DSM)。

并行计算机有以下五种访存模型:均匀访存模型(UMA)、非均匀访存模型(NUMA)、全高速缓存访存模型(COMA)、一致性高速缓存非均匀存储访问模型(CC-NUMA)和非远程存储访问模型(NORMA)。

不像串行计算机那样,主流使用冯·诺伊曼的计算模型,并行计算机没有一个统一的计算模型。不过,人们已经提出了几种有价值的参考模型:PRAM模型,BSP模型,LogP模型,C^3模型等。

并行计算机是靠网络将各个处理机或处理器连接起来的,一般来说有以下几种方式

网络的基本术语:

并行算法是一门还没有发展成熟的学科,虽然人们已经总结出了相当多的经验,但是远远不及串行算法那样丰富。并行算法设计中最常用的的方法是PCAM方法,即划分,通信,组合,映射。首先划分,就是将一个问题平均划分成若干份,并让各个处理器去同时执行;通信阶段,就是要分析执行过程中所要交换的数据和任务的协调情况,而组合则是要求将较小的问题组合到一起以提高性能和减少任务开销,映射则是要将任务分配到每一个处理器上。总之,并行算法还需要相当多完善的地方。并行算法与串行算法最大的不同之处在于,并行算法不仅要考虑问题本身,而且还要考虑所使用的并行模型,网络连接等等。

相关

  • 异裂异裂(heterolysis)是化学上化学键断裂时,两个成键电子分配到其中一个成键原子上,从而产生一个正离子和一个负离子的过程。最常见的是,电负性较强的原子使电子对保持阴离子,而正电
  • 尿液检查尿液分析,又称为尿常规,是针对尿液标本所进行的一组医学检验项目,是医学诊断过程中最为常用的方法之一。尿液分析是历史最为悠久的医学检验方法之一,可以反映肾脏和泌尿道等方面
  • ʙ双唇颤音是辅音的一种,用于一些口语中。表示此音的国际音标符号是⟨ʙ⟩,X-SAMPA的标志则是⟨B\⟩。双唇颤音特点:在绝大部分情况,它只是作为前鼻化塞音的颤动除阻音。英语没有
  • 天文摄影天文摄影(英语:Astrophotography)为一特殊的摄影技术,可记录各种天体和天象,月球、行星甚至遥远的深空天体。天文摄影不一定要在夜间进行,一些特殊的天象如日食就需在日间拍摄。所
  • 拉丁期拉丁期(英语:Ladinian)是三叠纪的第四个时期,年代大约位于242–237百万年前。
  • 刑部汉尚书下表列出清朝刑部尚书:顺治七年十二月乙巳(1651年1月17日)至十年二月己未(1653年3月21日),刑部设满尚书二员。
  • 石璋如石璋如(英语:Chang-Ju Shih,1902年1月8日-2004年3月18日),历史学家。1932年自中国河南大学毕业,1932年至1934年进入中央研究院历史语言研究所担任研究生、1934年至1939年转任助理员
  • 医疗科学学术中心医疗科学学术中心(又称:医疗科学合作伙伴联盟、医学学术中心)指由大学与医疗机构合作所组成的学术联盟,旨在进行生物医学研究、提供临床教学训练及医疗服务。类似合作伙伴常见于
  • 麦卡伦国际机场麦卡伦国际机场(英语:McCarran International Airport,IATA代码:LAS;ICAO代码:KLAS;FAA代码:LAS)是服务美国内华达州拉斯维加斯市和克拉克县的主要机场,位于拉斯维加斯市中心以南约8公
  • 柳无忌柳无忌(1907年-2002年10月3日),美籍华裔中国文学学者。祖籍浙江慈溪,江苏省吴江县人,1907年生于上海。1920年,就读于上海圣约翰中学与大学。1925年,转入清华大学。1927年赴美,入劳伦