在欧洲和美国,hpc开发者正在利用nvidia bluefield-2 dpu内的arm核和加速器的强大功能为超级计算机提供强大助力。
美国洛斯阿拉莫斯国家实验室 (lanl) 正在与nvidia进行一项为期多年的广泛合作,这项合作旨在将计算型多物理应用的性能提高30倍。
lanl研究人员预计,使用在nvidia quantum infiniband网络上运行的 dpu(数据处理器)可显著提升性能。这将使利用bluefield 以及nvidia doca软件框架在计算存储、模式匹配等领域实现技术创新。
超级计算中心在利用nvidia quantum infiniband网络上的nvidia bluefield dpu将加速计算提升到新的水平面向dpu的开放式api
这些努力还将有助于进一步定义opensnapi,任何人都可通过该应用接口来控制dpu。这是统计计算框架( unified communication framework) 的一个项目,unified communication framework是一个旨在实现hpc应用异构计算的联盟,成员包括arm、ibm、nvidia、美国国家实验室和美国的一些大学。
lanl已经感受到网络计算的强大功能,这要归功于其创建的dpu赋能的存储系统。
加速闪存盒(abof)将固态存储与dpu和infiniband加速器相结合,可为linux文件系统的关键性能部分提供加速。它的性能高达同类存储系统的30倍,并将成为lanl基础架构中的关键组件。
一位研究人员在近期的lanl博客中表示:“abof让计算靠近存储,可更大限度减少数据移动,从而提高仿真和数据分析工作流程的效率。”
德克萨斯州打造出云原生超级计算平台
德克萨斯高级计算中心 (tacc) 近期也开始在dell poweredge中采用bluefield-2。它将在infiniband网络上使用dpu,使其lonestar6系统成为云原生超级计算的开发平台。
tacc的lonestar6为德州农工大学、德州理工大学和北德克萨斯大学的众多hpc开发者,以及一些研究中心和教职人员提供服务。
mpi获得加速
在距tacc东北部1200英里的地方,俄亥俄州立大学的研究人员展示了dpu如何将一个hpc热门编程模型的运行速度提高26%。
他们通过卸载消息传递接口 (mpi) 的关键部分,加速了p3dfft,这是一个用于众多大规模 hpc 仿真的数学库。
俄亥俄州立大学计算机科学与工程专业的教授dhabaleswar k. (dk) panda在其带领的mvapich开源软件团队推动dpu工作,他表示:“dpu就像是为忙碌的高管处理工作的助手,它们将成为主流,因为它们可以加速运行各种工作负载。”
hpc中心和云中的dpu
对于运行药物研发或飞机设计等hpc仿真应用的超级计算机而言,高达两位数的性能加速是惊人的。panda表示,云服务可以利用这些加速提高客户的生产力,他已收到多个 hpc 中心的代码请求。
quantum infiniband网络以及nvidia sharp特性,助力他高效完成工作。
他说:“其他人还在谈论网络计算,而infiniband已经在为它提供支持。”
达勒姆开发负载均衡
欧洲的多个研究团队正利用bluefield dpu加速mpi和其他hpc工作负载。
例如,英格兰北部的达勒姆大学正在开发一款软件,用于在16个节点的dell poweredge集群上使用bluefield dpu以实现mpi作业的负载均衡。该项目的首席调查员tobias weinzierl表示,该软件将为全球各地的hpc设施更高效地处理更好算法铺平道路。
剑桥大学和慕尼黑的dpu应用
剑桥大学、伦敦和慕尼黑的研究人员也在使用dpu。
伦敦大学学院正在探索如何在bluefield-2 dpu上为主机系统调度作业。例如,可以使用它的能力在主机处理器之间移动数据,以便在需要时数据已然就位。
dell poweredge服务器内的bluefield dpu可为cambridge service for data driven discovery服务卸载主机cpu的安全策略、存储框架和其他作业,从而更大限度地提高系统性能。
与此同时,慕尼黑工业大学计算机体系架构和并行系统组的研究人员正在寻找方法,使用 dpu 来卸载 mpi 和操作系统任务,这是 eurohpc 项目的一部分。
在美国,佐治亚理工学院的研究人员正在与桑迪亚国家实验室合作,利用bluefield-2 dpu加速分子动力学研究。一篇论文描述了他们目前的工作成果,其中表明,算法可以加速20%,且不会损失模拟的准确性。
不断扩展的网络
本月早些时候,日本研究人员宣布将推出一款采用新版nvidia h100 tensor core gpu的系统,该系统将搭载速度更快、更智能的nvidia quantum-2 infiniband网络平台。
nec将使用h100的为筑波大学计算科学中心构建算力大约为6 pflops超级计算机。研究人员将使用该系统实现气候学、天体物理学、大数据、ai和更多方面的研究。
与此同时,panda等研究人员已经开始考虑如何使用bluefield-3 dpu的核心功能。
他打趣道:“这就像雇佣拥有大学学位的行政助理,而不是那些拥有高中文凭的行政助理一样,所以我希望能够完成越来越多的工作卸载。”
评论