关注中国HPCTOP100 曙光强调应用价值
宋辰
从科研到落地,作为高性能计算(以下简称“HPC”)领域的佼佼者,中科曙光(以下简称“曙光”)如何完成“从硬件提供商向综合服务提供商转型”?
当下科技界最热门的不外乎就是大数据和人工智能,而这背后,实则是计算能力的比拼。这也就不难理解为何各国如此重视在HPC领域的投入。据IDC统计,2015年全球高性能计算的预算投入增长了11%,2016年还将有更大的增长,中国也持续保持15%以上的增速。
2015年,曙光提出了”数据中国"战略,5年内要在国内百个城市百个行业建成云计算数据中心,构建一个覆盖全国的数据平台,为用户提供基于数据的服务。曙光作为高性能计算行业的佼佼者,该如何支持数据中国战略的落地、完成“从硬件提供商向综合服务提供商转型”呢?
硬实力
“汽车业界的法拉利拉力赛、F1赛车,那种赛车不一定会出现在我们生活中,但它却是整个企业业界最先进性能和技术的代表。”曙光高性能产品事业部副总经理吉青在采访中对《计算机世界》报记者说,“HPC就相当于IT界的F1赛车,是IT界最先进技术的集中体现。”
她补充道,现在HPC已经慢慢渗透到了每个人的日常生活中。以刚刚过去的“双十一”为例,大量用户同时在线时,服务器需要负载短时间内的高并发,同时,不同的数据中心的数据资源要同步,“比如,1000双鞋的库存,你这边都卖了900双了,我那边显示还剩200双单,那就有很大的问题。其实这里面用到的很多都是高性能计算的技术。”
新一期中国高性能计算机TOP100排行榜单如期在“2016年全国高性能计算学术年会”(HPC China 2016)上发布。曙光以34%的市场份额再次占得榜首,这是它连续第八年蝉联中国高性能计算机TOP100市场份额第一。在TOP10榜单中,曙光占有4套系统,在TOP30榜单中曙光占有15套系统上榜。
据榜单显示,曙光、联想以34套系统并列第一;国产高性能计算三强企业合计占系统份额87%;总国产系统份额占比98%。在应用层面,大数据挖掘和深度学习成为应用热点,曙光相关领域系统TC6000和HC2000均榜上有名。
深入到产业和应用场景中去,高性能计算才能更快走出实验室。“近年来,曙光通过上下游合作伙伴将创新链与产业链结合,深入应用场景进行产品的优化和开发应用。”曙光公司高性能产品事业部总经理曹振南介绍说。
今年5月,曙光液冷高性能计算系统中标国家电网电力科学研究院,超过700节点的TC4600E-LP液冷刀片将在国家电网仿真中心超级计算系统上部署,迈出了液冷技术在国内商用化的第一步。
玩数据
“千人基因组计划”每月产生1万亿条碱基序列信息,我国30多个在轨民用航天平台每年有超过3PB遥感卫星数据,FAST射电望远镜的数据产出速度是6000亿条记录/年,大型强子对撞机实验每年产生15PB原始数据。
“科学研究正变成一个又一个的大数据问题。”曙光公司高性能产品事业部总工程师戴荣说,“未来,基于对科学大数据的处理和分析将成为发现新知识的基本特征。”
的确,大数据研究已经成为继理论、实验和计算模拟之后的第四种科学范式,在新型材料、生物基因、精准医学、地球科学、生态环境、卫星遥感、天文、空间地理、高能物理、现代农业等领域的科学发现将越来越依赖数据密集型计算来驱动。
科学大数据的海量、多源、异构、高维等特征,向传统HPC系统发起了全新的挑战。“多数科研项目的数据量非常巨大并快速变化,且往往是分布、异构的,传统的数据管理模式已不能满足需要;此外,对科学大数据的‘计算包括了从数据获取、管理到分析、可视化的全过程,传统的高性能计算亟需将服务向外延拓展。”戴荣解释说。
针对科学大数据的行业应用特征,曙光发布了“科学大数据引擎”。曙光公司认为,科学大数据引擎将实现计算存储分析一体化,充当连接数据源和业务应用的“黑匣子”,完成对数据的清洗转换、存储与管理、数据处理与挖掘、数据分析及可视化等工作。
据戴荣介绍,在科学大数据引擎的“黑匣子”里,部署着曙光全系列数据计算技术及服务产品,主要由5个引擎组件构成,分别是:针对海量非结构化数据的曙光ParaStor并行存储系统、曙光高性能计算平台、提升系统整体效能的曙光深度学习计算平台、曙光XData大数据处理平台以及能覆盖科学大数据中心全生命周期的曙光EasyOP运维管理平台。
超算中心届的“滴滴”
曙光希望通过EasyOP构建一个资源交易平台,而这不同于超算中心“卖计时”。吉青解释道,“HPC行业更高的价值是‘人。”她举例说,“比如某个超算中心出了问题需要专家维护,他在平台上发出需求,平台上的运维经验专家,可以像‘滴滴专车司机一样去接单;再比如一个有着20年经验的CAE专家,也可以将自己的经验和知识在平台上变现。”
EasyOP是曙光在今年4月正式上线的一款SaaS级、针对高性能计算集群的运维平台。通过EasyOP能够为HPC在线7×24小时的全生命周期的运维、调优服务,将各行各业的专家从HPC的运维和管理中解放出来。
采用EasyOP,HPC运维人员不仅可以随时了解HPC集群的运营情况和故障,还可通过网页或等在线咨询服务与线上专家进行一对一的交流。EasyOP还会将常见、有代表性的故障解决方案上传至知识库,以便于HPC运维人员积累。
另据吉青透露,曙光目前正在建立HPC界的维基百科,“主要的基础数据都已经上去了,只是等待一个时机上线。将来大家在曙光官网的首页就会看到。”