并行计算

✍ dations ◷ 2025-07-08 15:39:05 #计算机科学,理论计算机科学,并发计算,分布式计算

并行计算(英语:parallel computing)一般是指许多指令得以同时进行的计算模式。在同时进行的前提下,可以将计算的过程分解成小部分,之后以并发方式来加以解决。

电脑软件可以被分成数个运算步骤来运行。为了解决某个特定问题,软件采用某个算法,以一连串指令运行来完成。传统上,这些指令都被送至单一的中央处理器,以循序方式运行完成。在这种处理方式下,单一时间中,只有单一指令被运行(processor level: 比较微处理器,CISC, 和RISC,即流水线Pipeline的概念,以及后来在Pipeline基础上以提高指令处理效率为目的的硬件及软件发展,比如branch-prediction, 比如forwarding,比如在每个运算单元前的指令堆栈,汇编程序员对programm code的顺序改写)。并行运算采用了多个运算单元,同时运行,以解决问题。

相对于串行计算,并行计算可以划分成时间并行和空间并行。时间并行即指令流水化,空间并行使用多个处理器执行并发计算,当前研究的主要是空间的并行问题。以程序和算法设计人员的角度看,并行计算又可分为数据并行和任务并行。数据并行把大的任务化解成若干个相同的子任务,处理起来比任务并行简单。

空间上的并行导致两类并行机的产生,按照麦克·弗莱因(Michael Flynn)的说法分为单指令流多数据流(SIMD)和多指令流多数据流(MIMD),而常用的串行机也称为单指令流单数据流(SISD)。MIMD类的机器又可分为常见的五类:并行向量处理机(PVP)、对称多处理机(SMP)、大规模并行处理机(MPP)、工作站机群(COW)、分布式共享存储处理机(DSM)。

并行计算机有以下五种访存模型:均匀访存模型(UMA)、非均匀访存模型(NUMA)、全高速缓存访存模型(COMA)、一致性高速缓存非均匀存储访问模型(CC-NUMA)和非远程存储访问模型(NORMA)。

不像串行计算机那样,主流使用冯·诺伊曼的计算模型,并行计算机没有一个统一的计算模型。不过,人们已经提出了几种有价值的参考模型:PRAM模型,BSP模型,LogP模型,C^3模型等。

并行计算机是靠网络将各个处理机或处理器连接起来的,一般来说有以下几种方式

网络的基本术语:

并行算法是一门还没有发展成熟的学科,虽然人们已经总结出了相当多的经验,但是远远不及串行算法那样丰富。并行算法设计中最常用的的方法是PCAM方法,即划分,通信,组合,映射。首先划分,就是将一个问题平均划分成若干份,并让各个处理器去同时执行;通信阶段,就是要分析执行过程中所要交换的数据和任务的协调情况,而组合则是要求将较小的问题组合到一起以提高性能和减少任务开销,映射则是要将任务分配到每一个处理器上。总之,并行算法还需要相当多完善的地方。并行算法与串行算法最大的不同之处在于,并行算法不仅要考虑问题本身,而且还要考虑所使用的并行模型,网络连接等等。

相关

  • 生殖腺生殖腺是人和动物产生生殖细胞和分泌性激素的器官。低等动物又称“生殖巢”,即精巢和卵巢的总称;高等动物雄性的生殖腺是睾丸,雌性的生殖腺是卵巢。人类在青春期后睾丸产生精子
  • 底片胶片,是一种制成影像物料。现今广泛应用的胶片是将卤化银涂抹在聚乙酸酯片基上,此种胶片为软性,卷成整卷方便使用,所以又称胶卷,当有光线照射到卤化银上时,卤化银转变为黑色的银,经
  • span style=color:#ffffff;政治与br /政府/span政治主题希腊是一个议会民主制国家。希腊现行宪法为1975年宪法。希腊国家元首为希腊总统。总统任期为5年。希腊议会为立法机构。希腊议会为一院制,共有300名议员,每届任期4年
  • 婚神星婚神星(英语:3 Juno)是人类发现的第三颗小行星,也是小行星带中最大的小行星之一,是由较重的石质组成的S-型小行星。它在1804年9月1日被德国天文学家卡尔·路德维希·哈丁以一架普
  • 亚历山大·蒲柏亚历山大·蒲柏(Alexander Pope,1688年5月21日 - 1744年5月30日)是18世纪英国最伟大的诗人。蒲柏出生于一个罗马天主教家庭,由于当时英国法律规定学校要强制推行英国国教圣公会,
  • 马龙·白兰度小马龙·白兰度(英语:Marlon Brando, Jr.,1924年4月3日-2004年7月1日),生于美国内布拉斯加州,美国电影男演员、社会活动家。第27届和第45届的奥斯卡影帝。他因将现实主义带入电影艺
  • 乞讨行乞是指向他人求讨食物及钱财等,以行乞为生之人称为乞丐,也叫乞讨。有的乞讨者因没有工作能力才乞讨;有部分则是虽有工作能力,但难以找到工作及赚取稳定收入,因此他们便只能以乞
  • 台湾闽南语常用代名词在明郑时期与清治时期,中国闽粤一带的移民大量进入台湾,其中以福建省南部的泉州府人以及漳州府人为主,后来闽南语取代了台湾原住民族诸语,成为了台湾最优势语言。日治时期当局以
  • 张挺张挺(1922年9月11日-2018年11月15日),原名张王廷,山西省忻县东楼乡东楼村人,中华人民共和国政治人物。张挺早年考入山西省立忻县中学,抗日战争期间,他参加八路军115师686团3营10连担
  • BBC第四台英国广播公司第四台(英语:BBC Four),是英国广播公司主要面向英国国内播出的电视频道,2013年12月10日开始高标清同步播出。BBC第四台于格林威治时间2002年3月2日晚间19点开播,距离