张量处理单元

✍ dations ◷ 2024-12-23 11:07:09 #集成电路,机器学习,Google,微处理器

张量处理单元(英文:Tensor Processing Unit,简称:TPU),也称张量处理器,是 Google 开发的专用集成电路(ASIC),专门用于加速机器学习。自 2015 年起,谷歌就已经开始在内部使用 TPU,并于 2018 年将 TPU 提供给第三方使用,既将部分 TPU 作为其云基础架构的一部分,也将部分小型版本的 TPU 用于销售。

2016 年 5 月,Google 在 Google I/O 上宣布了张量处理单元,并表示 TPU 已经在其数据中心内部使用了超过一年。该芯片是专门为 Google 的 TensorFlow 框架(一个符号数学库,用于机器学习应用程序,如神经网络)设计的。不过,截至 2017 年,Google 也将 CPU 和 GPU 用于其他类型的机器学习。其他供应商也设计了自己的 AI 加速器,并针对嵌入式和机器人市场。

Google 的 TPU 是专有的,一些 TPU 的型号已经上市。在 2018 年 2 月 12 日,纽约时报报道称 Google 将“允许其他公司通过其云计算服务购买对这些芯片的访问权”。Google 曾称,它们已用于 AlphaGo 与李世乭的人机围棋对战以及 AlphaZero 系统中。Google还使用 TPU 进行 Google 街景中的文本处理,并且能够在不到五天的时间内找到 Google 街景数据库中的所有文本。在 Google 相册中,单个 TPU 每天可以处理超过1亿张照片。TPU 也被用在 Google 用来提供搜索结果的 RankBrain 中。

与图形处理单元(GPU)相比,TPU 被设计用于进行大量的低精度计算(如 8 位的低精度),每焦耳功耗下的输入/输出操作更多,但缺少用于光栅化/纹理映射的硬件。

根据 Norman Jouppi(英语:Norman Jouppi) 的说法,TPU 可以安装在散热器组件中,从而可以安装在数据中心机架上的硬盘驱动器插槽中。

第一代TPU是一个 8 位矩阵乘法的引擎,使用复杂指令集,并由主机通过 PCIe 3.0 总线驱动。它采用28 nm工艺制造,裸晶尺寸小于 331 mm2,时钟速度为 700 MHz,热设计功耗为 28–40 W。它有28 MiB 的片上存储和 4 MiB 的 32位累加器,取 8 位乘法器的 256×256 脉动阵列的计算结果。TPU 还封装了 8 GiB 的双通道 2133 MHz DDR3 SDRAM,带宽达到 34 GB/s。TPU 的指令向主机进行数据的收发,执行矩阵乘法和卷积运算,并应用激活函数。

第二代 TPU 于 2017 年 5 月发布。Google 表示,第一代 TPU 的设计受到了内存带宽的限制,因此在第二代设计中使用 16 GB 的高带宽内存,可将带宽提升到 600 GB/s,性能从而可达到 45 TFLOPS。TPU 芯片随后被排列成性能为 180 TFLOPS 的四芯片模块,并将其中的 64 个这样的模块组装成 256 芯片的 Pod,性能达到 11.5 PFLOPS。值得注意的是,第一代 TPU 只能进行整数运算,但第二代 TPU 还可以进行浮点运算。这使得第二代 TPU 对于机器学习模型的训练和推理都非常有用。谷歌表示,这些第二代TPU将可在 Google 计算引擎上使用,以用于 TensorFlow 应用程序中。

第三代 TPU 于 2018 年 5 月 8 日发布。谷歌宣布第三代 TPU 的性能是第二代的两倍,并将部署在芯片数量是上一代的四倍的 Pod 中。与部署的第二代 TPU 相比,这使每个 Pod 的性能提高了 8 倍(每个 Pod 中最多装有 1,024 个芯片)。

相关

  • 傅-克酰基化反应傅里德耳-克夫特化酰化反应(简称傅-克酰基化反应)是一种傅-克反应,在质子酸或路易斯酸(如三氯化铝)催化下,芳香性化合物与酰卤或酸酐发生的亲电子取代反应,为一改良的亲电子取代反应。
  • 艾灸在古代中国,艾草就已是重要的民生植物。通常用于针灸术的“灸”。所谓针灸其实分成两个部分。“针”就是拿针刺穴道,而“灸”就是拿艾草点燃之后去薰、烫穴道,穴道受热固然有刺
  • 鳄目(学名:Crocodilia)通称为鳄鱼,属于脊索动物门蜥形纲。分布于热带到亚热带的河川、湖泊、海岸中,现存24种。鳄目的体长范围从1.5米到7米;一些史前物种,例如晚白垩世的恐鳄,体长可
  • 文物文物一词,在中国最早是指礼乐制度。《左传·桓公二年》记载,“夫德,俭而有度,登降有数,文物以纪之,声明以发之;以临百官,百官于是乎戒惧而不敢易纪律。”现今则将过去遗留下来的具有
  • 国家宪兵 (法国)国家宪兵(法语:Gendarmerie nationale)是法国的两支警察部队之一,另一支是法国国家警察。法国宪兵已改隶于内政部,但仍然另外负责国防部的任务,担任法国军队的宪兵工作,负责执行警
  • 人工合成宝石人工合成宝石是相对于天然宝石而言的,是为缓解天然宝石供需矛盾而产生和发展的产物,是人工制作而非天然产出的宝石。人工合成宝石,可简称为人工宝石,是指人们运用现代科学技术的
  • 方庭在建筑学中,方庭(Quadrangle,quad)是一个空间或庭院,通常为正方形或长方形,四周全部或大部分由大型建筑(或几个较小的建筑物)环绕。它与大学校园建筑关系最为密切,但也见于宫殿等其他
  • 动画的力量动画的力量是东京电视台与Aniplex合作的动画企划。 作品全部都是原创,动画制作是A-1 Pictures。作品在2010年顺次序播放。于深夜动画时段在东京电视台播放。第一弹‘空·之·
  • 加利福尼亚甜灰蝶加利福尼亚甜灰蝶(),又名加里福尼亚戈灰蝶,是一种已灭绝的灰蝶。它们栖息在旧金山的海岸地区。它们相信是美国第一种因城市开发而灭绝的蝴蝶。最后的加利福尼亚甜灰蝶是于1941年
  • 天赋观念论天赋观念论,是西方哲学中一种唯心主义先验论的认识论学说。 天赋观念学说源于古希腊。古希腊唯心主义者柏拉图提出“灵魂回忆说”,以柏拉图为代表的古希腊哲学家把世界看成是