e-works数字化企业网  »  文章频道  »  基础信息化  »  终端和服务器

Platform助力上海超算实现负载均衡及提高集群使用率

2011/8/24    来源:e-works    作者:Platform      
关键字:Platform  上海超算  负载均衡  提高集群使用率  
作为一个城市现代化发展水平的重要标志,公共计算平台能够让更多的人力资源、资金、技术快速流动起来,在带来巨大的经济效益和社会效益的同时,推动着高新技术产业以及企业自主创新的发展,具有深远意义。

    作为一个城市现代化发展水平的重要标志,公共计算平台能够让更多的人力资源、资金、技术快速流动起来,在带来巨大的经济效益和社会效益的同时,推动着高新技术产业以及企业自主创新的发展,具有深远意义。

    上海超级计算中心(SSC)由上海市政府投资建设,累计总投资规模5亿元人民币以上,坐落于上海市张江高科技园区。多年来,上海超级计算中心立足上海,面向全国,为来自工程科研院所和多所知名大学的超过350家用户,提供了随需应变的高性能计算资源、技术支持以及高级技术咨询服务,支持了一大批国家和地方政府的重大科学研究、工程和企业新产品研发,在汽车、航空、钢铁、核能、市政工程、新材料、生物制药、天文、物理、化学等多个领域取得了大批重大成果。

    挑战:数百万亿次计算规模 作业调度系统面临挑战

    上海超算中心目前拥有曙光4000A(2004年世界排名第十)和“魔方”(曙光5000A,2008年世界排名第十、亚洲第一)等多台超级计算机,同时配备丰富的科学计算和工程计算软件。

    上海超算中心主机系统分三期工程进行建设,其中,二期工程部署了曙光4000A超级计算机系统,共有512个计算节点,每个节点4个CPU,于2004年底投入运行。三期工程部署了魔方(曙光5000A)超级计算机,于2009年6月投入运行,共有1500多台计算节点,2.5万多个核。在魔方(曙光5000A)上运行超过了40种以上的各类商用应用软件和上百种的科学研究程序。

    上海超算中心高性能计算集群系统三期主机的处理能力为二期主机的20倍,CPU个数为二期主机的10倍以上,系统每天运行的作业数、访问用户数及作业类型等也成比例增长,因此系统运行的复杂度呈成倍增长态势,这对主机系统管理和运行的核心软件——作业调度系统提出了更高、更严的要求。

    同时,上海超算中心高性能计算集群平台的应用环境非常复杂,其应用领域遍及基础科学研究(包括计算化学、高能物理、地球物理、天体物理、 新材料研究、生物医药、基因研究、人工智能等);社会公益事业(包括数值气象预报、环境保护、地震预报);工业与工程计算(包括航空航天、船舶和海洋工程、汽车设计、地质勘探、建筑工程、核电工程、电子与通讯、装备制造);数据处理(包括金融、政务、商务、证券、交通)等多个领域,这就要求高性能计算集群平台的作业调度系统必须能对各个应用软件具有非常良好的支持,不仅能支持各种工程计算应用,还能支持各种各样基础科学研究。这意味着作业调度系统要与各个商业应用软件具有良好的接口和后台支撑,同时还必须支持各种开源软件,确保各种应用软件在集群环境下的稳定应用。

    解决方案:Platform LSF挺身而出 难题不再

    自上海超算中心二期工程实施以来,Platform就积极参与到高性能计算集群系统建设中来,为上海超算中心的高性能计算集群系统的正常运作提供强有力的支持。

    Platform为上海超算中心高性能计算集群系统三期工程提供的Platform 作业调度系统(Platform LSF HPC)解决方案拓扑图如下图所示。在访问网络层,提供用户使用高性能平台的通道,通过登录节点作为统一接口访问高性能服务,同时,将用户与高性能后台系统隔离,提高安全性和可管理性。在管理网络层,提供对高性能平台进行部署、监控、调度和管理通信平台,保证系统可控性和可管理性。在计算网络层,提供高性能应用、并行计算应用之间数据通信,减少延迟和增大带宽,保证高性能计算应用的高效率和高质量。在存储网络层,提供存储服务器与存储设备高IO吞吐和高流量通讯访问,保证系统对存储利用的高并发和大吞吐。当然,其他节点对存储访问不仅依赖存储网络,同时还将依赖IO服务器与其他服务器之间的管理网络或计算网络(取决于IO服务器使用管理网络还是计算网络提供IO服务)。

    Platform作业调度系统(Platform LSF HPC)的核心是Platform LSF。LSF是业界领先的最为广泛使用的分布式批处理中间件,它可以用于提供PaaS服务, 并支持网格化SaaS。在电子设计、航空航天、汽车、生命科学、政府、教育、科研、石油等各个领域获得了广泛应用,包括德州仪器(TI)、AMD、通用汽车、戴姆勒克莱斯勒、波音、联合技术等著名公司均采用LSF对其高性能计算平台进行管理和调度。

Platform LSF

 

责任编辑:赵蔓
本文为作者授权转载文章,任何人未经原作者同意,不得复制、转载、摘编等任何方式进行使用,e-works不承担由此而产生的任何法律责任! 如有异议请及时告之,以便进行及时处理。联系方式:editor@e-works.net.cn tel:027-87592219/20/21。
e-works
官方微信
掌上
信息化
编辑推荐
新闻推荐
博客推荐
视频推荐