2023开放原子全球开源峰会先进计算分论坛顺利召开 华恒盛世发布自主研发QUICKPOOL算力调度系统-世界热门

6月12日,2023开放原子全球开源峰会先进计算分论坛在北京经开区北人亦创国际会展中心顺利举行。

全国政协委员、中国智能计算产业联盟执行理事长、中科院计算所并行软件实验室主任张云泉在论坛上指出,随着大模型、5G、科学计算等新兴技术的蓬勃发展,海量的算力也在不断提升。随着国家“东数西算”的发布,我们迅速进入算力经济时代,未来的算力将会像水电一样成为生活的必需品。

在张云泉看来,当前算力服务业快速发展,出现了大量做算力服务的平台,这也标志着算力经济时代正式到来。与此同时,如何将计算中心,包括超算中心、智算中心、一体化大数据中心、超数大脑等算力场景互联也成为热门话题。“需要通过算网融合、算力调度把这些中心连接起来,发挥最大的效力。包括‘东数西算’,东西互补,拉升西部经济,助推东部的碳排放的压力减弱,都成为现在的新的赛道。”


(相关资料图)

“先进计算是解决国家经济建设、社会发展、科技进步等一系列问题的重要手段,而算力是其依赖的必要的底座,世界各国对算力资源投资部署达到了新的高度。”张云泉表示,如何升级和创新现有算力格局,打造出全域智能感知、异构计算、智能调度、绿色节能的先进计算算力网,让算力像水和电一样流动起来,也是各国在基础设施建设方面竞争的焦点和需要研究的难题。

他特别提到,此次论坛的主办单位北京华恒盛世科技有限公司在算力调度赛道已经营多年,具有一定技术实力,其完全自主研发的QUICKPOOL的算力调度系统,就是希望实现以上的算力调度问题。

中国石油集团东方地球物理公司数据中心原总工程师赖能和也指出了资源调度系统的重要性。他认为,异构、异地、智能、高效、自动的计算资源调度和作业调度系统可以帮助更合理、有效地使用计算资源,提高算力利用率,它是超算和智算的“算力指挥官”。

为引领中国计算算力网快速发展,华恒盛世总经理苏斌在论坛上发布了从0到1自研的QUICKPOOL算力调度系统正式版,并阐述了QUICKPOOL作为算力建设中的基础软件,如何为我国超算、智算、绿色计算等算力场景建设提供可靠的自主软件技术支撑。

据苏斌介绍,QUICKPOOL由华恒盛世完全自主研发,拥有自主产权,更适合中国国情,是真正懂自己的平台。“因为这套软件之前一直是国外的路线,我们自主研发,想为技术从业者和用户创造一条中国技术路线,以供大家选择。”

据了解,QUICKPOOL采用C语言,目前已在3000多台服务器集群上进行商用化,且在两年的稳定性测试中没有出过一次故障。为将技术分享出去,华恒盛世在国家开放原子基金会成立了独立分社区,开源了QUICKPOOL。“我们采用木兰宽松版2.0,希望大家通过使用QUICKPOOL,形成自己的一些自主核心技术,去推动国家算力调度领域的发展。”

国家超级计算济南中心副主任、济南超级计算技术研究院院长潘景山在分享如何搭建一站式计算运营平台,助力构建开放、协同、繁荣的算力生态系统时也提到,中国仍存在算力供需不平衡的问题,如何解决多样性融合、多元化调度的问题,都需要去认真考虑。

中国科学院计算网络中心信息中心研究员陆忠华认为,QUICKPOOL是一款能够对智算和超算进行集群管理和效率优化的算力调度软件,目前拥有多集群调度、块调度、作业动态调度、基于事件的调度等等数十种调度能力,可以做到提升计算速度数十倍至百倍,降低服务器集群能耗10%~30%,将异构异地集群“打通”成一个整体算力资源,提高用户随需随用算力资源的体验感。QUICKPOOL已经在龙芯中科、沐曦集成电路、泛联信息、上海即算等科技公司的产品及诸多行业高性能计算系统中获得成功应用。

“人工智能成功落地面临数据数据采集难、样本数据不足,算法精度差、场景应用比较弱,算力成本高等问题,”联通数字科技有限公司数据智能事业部技术总监樊利安指出,联通利用云网融合相关技术,实现了异构芯片的统一纳管,并且也加强整个算力池的建设,提供多种策略,满足算法的使用效率。

国家气象信息中心副总工程师沈文海对QUICKPOO的出色表现表达了认可:“QUICKPOO是一款高效利用计算资源(尤其是高性能计算资源)的作业和资源调度系统。该系统在异构资源池化、异构资源有机混合应用、远程资源的统一调度、闲置资源休眠/唤醒等技术环节均有出色的表现,系统整体能力已达到业界同类产品的领先程度。该系统的研制成功,填补了国产软件系统在这一领域的空白。”

他预期,在新基建及高性能计算资源未来将长期处于供不应求的背景下,QUICKPOO具有广阔的应用前景,并以其独特的“移峰填谷”能力,充分利用现有计算资源,在尽可能满足社会需求的同时,努力践行我国既定的“双碳”目标。

陆忠华还谈到,QUICKPOOL从对标IBM LSF、Slurm、PBS起步研发,七年潜心自主研发,并在取得成功应用之际勇于开源。他希望QUICKPOOL能乘算力经济发展的东风,不断完善QUICKPOOL的功能和用户体验,成为自主开源算力调度软件的一面旗帜,贡献中国算力经济发展。

此外,论坛还围绕先进计算的前沿技术和实践分享,展开了富有洞察的思想碰撞和密集的信息输出。论坛现场,国家级超算中心、运营商、IDC数据中心、CPU国产厂商、GPU国产厂商、存储厂商、算力管理平台等代表结合各自产品,展示了先进计算如何成为算力产业的创新技术,如何成为推动科技创新和产业升级的重要力量。

关键词: