并行计算

✍ dations ◷ 2025-06-08 15:25:46 #计算机科学,理论计算机科学,并发计算,分布式计算

并行计算(英语:parallel computing)一般是指许多指令得以同时进行的计算模式。在同时进行的前提下,可以将计算的过程分解成小部分,之后以并发方式来加以解决。

电脑软件可以被分成数个运算步骤来运行。为了解决某个特定问题,软件采用某个算法,以一连串指令运行来完成。传统上,这些指令都被送至单一的中央处理器,以循序方式运行完成。在这种处理方式下,单一时间中,只有单一指令被运行(processor level: 比较微处理器,CISC, 和RISC,即流水线Pipeline的概念,以及后来在Pipeline基础上以提高指令处理效率为目的的硬件及软件发展,比如branch-prediction, 比如forwarding,比如在每个运算单元前的指令堆栈,汇编程序员对programm code的顺序改写)。并行运算采用了多个运算单元,同时运行,以解决问题。

相对于串行计算,并行计算可以划分成时间并行和空间并行。时间并行即指令流水化,空间并行使用多个处理器执行并发计算,当前研究的主要是空间的并行问题。以程序和算法设计人员的角度看,并行计算又可分为数据并行和任务并行。数据并行把大的任务化解成若干个相同的子任务,处理起来比任务并行简单。

空间上的并行导致两类并行机的产生,按照麦克·弗莱因(Michael Flynn)的说法分为单指令流多数据流(SIMD)和多指令流多数据流(MIMD),而常用的串行机也称为单指令流单数据流(SISD)。MIMD类的机器又可分为常见的五类:并行向量处理机(PVP)、对称多处理机(SMP)、大规模并行处理机(MPP)、工作站机群(COW)、分布式共享存储处理机(DSM)。

并行计算机有以下五种访存模型:均匀访存模型(UMA)、非均匀访存模型(NUMA)、全高速缓存访存模型(COMA)、一致性高速缓存非均匀存储访问模型(CC-NUMA)和非远程存储访问模型(NORMA)。

不像串行计算机那样,主流使用冯·诺伊曼的计算模型,并行计算机没有一个统一的计算模型。不过,人们已经提出了几种有价值的参考模型:PRAM模型,BSP模型,LogP模型,C^3模型等。

并行计算机是靠网络将各个处理机或处理器连接起来的,一般来说有以下几种方式

网络的基本术语:

并行算法是一门还没有发展成熟的学科,虽然人们已经总结出了相当多的经验,但是远远不及串行算法那样丰富。并行算法设计中最常用的的方法是PCAM方法,即划分,通信,组合,映射。首先划分,就是将一个问题平均划分成若干份,并让各个处理器去同时执行;通信阶段,就是要分析执行过程中所要交换的数据和任务的协调情况,而组合则是要求将较小的问题组合到一起以提高性能和减少任务开销,映射则是要将任务分配到每一个处理器上。总之,并行算法还需要相当多完善的地方。并行算法与串行算法最大的不同之处在于,并行算法不仅要考虑问题本身,而且还要考虑所使用的并行模型,网络连接等等。

相关

  • X染色体连锁精神发育迟滞X染色体连锁精神发育迟滞(X-Linked mental retardation),是指与X染色体相关的智能障碍。不像其他类型的智能障碍,X染色体连锁精神发育迟滞的遗传学研究已经相当完备。血脂异常:
  • 酒精饮料酒(英语:Alcoholic beverage),其中含有0.5%至96%的酒精(即乙醇)。为人类饮用历史最长的加工饮品之一,由植物发酵制成。相传灵长类动物有着储存果实的习惯,有时会因自然发酵意外酿成
  • 威廉斯乔迪·威廉斯(英语:Jody Williams,1950年10月9日-),是一位美国教师和社会活动家,也是1997年诺贝尔和平奖获得者。1972年威廉斯在佛蒙特大学获得学士学位,之后几年她先后在墨西哥和英
  • 批判法律研究批判法律研究(Critical legal studies),又译为批判法学派 ,是20世纪70年代兴起的一支激进的法学流派。批判法律研究的思想起源可以追溯到美国法律现实主义,而作为一支独立的学术
  • 家是指一个作为个人、家庭或部落成员的居住空间,通常是房屋或其他建筑物,也可能是组合屋、营帐、船屋或洞窟。是一个可供个人或家庭在里面饮食、睡眠和储存财产的地方,也是人们
  • 香豆酸香豆酸(英语:Coumalic acid)是一种分子式为C6H4O4的吡喃酮类环状化合物,熔点为210 °C,在自然界的主要分布为禾本科植物的茎。在实验室中,香豆酸可由苹果酸在发烟硫酸中发生自缩合
  • 兽脚类兽脚亚目(学名:Theropoda)通常归类于蜥臀目,尽管2017年的论文已将他们作为鸟臀目的最近亲属放置在拟议的鸟腿龙类(英语:Ornithoscelida)中。是群双足恐龙。虽然它们主要是肉食性动
  • 麦可·杜卡基思迈克尔·斯坦利·杜卡基斯(英语:Michael Stanley Dukakis,1933年11月3日-),美国政治家,马萨诸塞州人,曾于1975年-1979年,及1983年-1989年间担任马萨诸塞州州长,是马萨诸塞州在任时间最
  • 巴蒂穆拉汤马士·马特勒西(Thomas Matulessy,1783年6月8日-1817年12月16日),又被人称作帕提穆拉队长(Kapitan Pattimura)、或更简短的帕提穆拉(Pattimura),印尼安汶人,职业军人,也被印尼列为民族
  • 米利都的泰勒斯米利都的泰勒斯(希腊语:Θαλῆς ὁ Μιλήσιος,公元前624年-公元前546年),常被称为泰勒斯(希腊语:Θαλῆς,,英语:Thales,/ˈθeɪliːz/),是古希腊古风时期的自然哲学家、几何