并行计算

✍ dations ◷ 2025-07-19 06:25:38 #计算机科学,理论计算机科学,并发计算,分布式计算

并行计算(英语:parallel computing)一般是指许多指令得以同时进行的计算模式。在同时进行的前提下,可以将计算的过程分解成小部分,之后以并发方式来加以解决。

电脑软件可以被分成数个运算步骤来运行。为了解决某个特定问题,软件采用某个算法,以一连串指令运行来完成。传统上,这些指令都被送至单一的中央处理器,以循序方式运行完成。在这种处理方式下,单一时间中,只有单一指令被运行(processor level: 比较微处理器,CISC, 和RISC,即流水线Pipeline的概念,以及后来在Pipeline基础上以提高指令处理效率为目的的硬件及软件发展,比如branch-prediction, 比如forwarding,比如在每个运算单元前的指令堆栈,汇编程序员对programm code的顺序改写)。并行运算采用了多个运算单元,同时运行,以解决问题。

相对于串行计算,并行计算可以划分成时间并行和空间并行。时间并行即指令流水化,空间并行使用多个处理器执行并发计算,当前研究的主要是空间的并行问题。以程序和算法设计人员的角度看,并行计算又可分为数据并行和任务并行。数据并行把大的任务化解成若干个相同的子任务,处理起来比任务并行简单。

空间上的并行导致两类并行机的产生,按照麦克·弗莱因(Michael Flynn)的说法分为单指令流多数据流(SIMD)和多指令流多数据流(MIMD),而常用的串行机也称为单指令流单数据流(SISD)。MIMD类的机器又可分为常见的五类:并行向量处理机(PVP)、对称多处理机(SMP)、大规模并行处理机(MPP)、工作站机群(COW)、分布式共享存储处理机(DSM)。

并行计算机有以下五种访存模型:均匀访存模型(UMA)、非均匀访存模型(NUMA)、全高速缓存访存模型(COMA)、一致性高速缓存非均匀存储访问模型(CC-NUMA)和非远程存储访问模型(NORMA)。

不像串行计算机那样,主流使用冯·诺伊曼的计算模型,并行计算机没有一个统一的计算模型。不过,人们已经提出了几种有价值的参考模型:PRAM模型,BSP模型,LogP模型,C^3模型等。

并行计算机是靠网络将各个处理机或处理器连接起来的,一般来说有以下几种方式

网络的基本术语:

并行算法是一门还没有发展成熟的学科,虽然人们已经总结出了相当多的经验,但是远远不及串行算法那样丰富。并行算法设计中最常用的的方法是PCAM方法,即划分,通信,组合,映射。首先划分,就是将一个问题平均划分成若干份,并让各个处理器去同时执行;通信阶段,就是要分析执行过程中所要交换的数据和任务的协调情况,而组合则是要求将较小的问题组合到一起以提高性能和减少任务开销,映射则是要将任务分配到每一个处理器上。总之,并行算法还需要相当多完善的地方。并行算法与串行算法最大的不同之处在于,并行算法不仅要考虑问题本身,而且还要考虑所使用的并行模型,网络连接等等。

相关

  • 雪橇雪橇(sled、sledge或sleigh)是一种陆上的交通工具,其下侧有光滑的表面,或者雪橇下方有可分离的支架,支架下方有二个或多个光滑的纵向窄滑行板,可以在地表滑行。大部分的雪橇是用在
  • 普罗透斯普罗透斯(.mw-parser-output .Polytonic{font-family:"SBL BibLit","SBL Greek","EB Garamond","EB Garamond 12","Foulis Greek",Cardo,"Gentium Plus",Gentium,"Theano Did
  • 蜜蜂学蜂学(英语:Melittology),或蜜蜂学,是昆虫学的分支学科,研究与蜂类相关的知识,涵盖蜂类下的蜂族演化支中超过两万个物种,包括熊蜂、蜜蜂属等各种蜂类。
  • 单磷酸脱氧胞苷去氧胞苷单磷酸(Deoxycytidine monophosphate,dCMP)是一种去氧核苷酸,是DNA的组成原料之一。结构与胞苷单磷酸相似,但一个-OH基被氢原子取代。
  • 月球计划月球号是苏联的第一个月球探测计划“月球计划”中所使用的空间探测器的名称。美国方面的对应计划是“先驱者计划”。先驱者计划所使用的探测器被命名为先驱者。美国第一个发
  • 哈碧在埃及神话中的哈庇',或作哈必和哈比(Hapi,Golden Dawn,Ahephi )是葬礼之神、霍尔的四子之一,在他们看管的四个罐子(canopic jars)里他看管装着肺脏的罐子。和他的兄弟们相同,都各自
  • 数据化数据化是将均匀、连续的数字比特结构化和颗粒化,形成标准化的、开放的、非线性的、通用的数据对象,并基于不同形态与类别的数据对象,实现相关应用,开展相关活动。数据化是中文中
  • 大耳马鲛大耳马鲛为辐鳍鱼纲鲈形目鲭亚目鲭科的其中一种,分布于西大西洋区,从加拿大至巴西圣保罗海域,本鱼腹鳍间的突起小而两裂,泳鳔不存在,侧线突然弯曲的向下在第二背鳍鳍之下,成鱼有没
  • 罗斯·佩罗亨利·罗斯·佩罗(英语:Henry Ross Perot,/pəˈroʊ/,1930年6月27日-2019年7月9日)是一位美国商人,曾经两次参加总统竞选,分别是1992年和1996年,虽然最终败选,但他取得历来第三党最多
  • 明讯明讯(英文:Maxis,MYX:6012),是马来西亚的移动电话服务业者,业务范围涵盖固网通讯、资料通讯及行动通讯等。同时也是第一个在马来西亚提供4G LTE的电信公司。在手机号码上,使用012、0