Loading
31May 2018

0

0

StorSwift与全球最大的IB供应商Mellanox提出联合解决方案

 

 

 

日前,上海储迅信息技术有限公司(StorSwift)与Mellanox强强联手,联合推出HPC领域的高性能存储方案。

 

背景

HPC高性能计算作为计算机应用的前沿技术,在科学研究、工程建设以及军事技术等重要领域的应用,已经取得了巨大的成就。这些HPC业务需求的增长使得并行计算机的规模越来越大,CPU、内存和互连网络的性能不断提高,对存储系统的I/O性能、可扩展性和高可用性等方面提出新的挑战。

根据G. M. Amdahl提出的经验法则,对于配置均衡的计算机系统,每1 MIPS的计算性能提升需要对应增加1Mb/s的I/O带宽资源。当代主流Haswell CPU的单核心浮点运算能力已经高达几百GFLOPS,对应I/O带宽的需求也达到100Gb/s级别。随着硬件处理性能按照摩尔定律以指数级提升、新指令集和GPGPU等异构加速卡的应用,传统HPC应用模型中的计算部分,得到了几个量级的加速,但存储性能却很难同步提升,其瓶颈效应越来越突出,存储系统已经成为影响集群性能的主要因素。

HPC应用的I/O模型具有高并发、高吞吐率的特点,对存储的核心需求包括:

1. 为了让计算任务可以被分配到任何集群节点并行处理,存储平台需要能够通过同一个命名空间,提供视图统一的存储系统,使得集群中所有节点可以并行访问、读写计算过程中的应用数据;

2. 能满足集群中数以千计的高性能计算节点并发访问共享数据集;

3. 在计算过程中,即使单节点的平均吞吐率只有几百MB/s,但由于集群I/O具有高并发性,导致I/O吞吐率会达到几千甚至几万MB/s,需要存储系统具有极高的吞吐率,且对聚合带宽的性能需求指标和集群规模成正比;

4. 随着计算任务的增加,集群规模不断扩大,需要能够动态扩充存储的容量、吞吐率和I/O带宽,这是保证集群系统扩展性的重要因素。

在构建HPC计算集群的过程中,分布式文件系统可以用低成本的投入满足高性能计算的需求,凭借其良好的扩展性和较高的性价比成为HPC存储的首选结构,是缓解HPC集群I/O瓶颈的核心技术。

 

StorSwift 与 Mellanox 联合解决方案

Storswift推出的CX-CLOUD系列分布式存储软件针对HPC运行环境做了全方位优化,全面支持高速以太网和RDMA网络,具有超高性能、在线横向扩展、PB级数据卷、高可用性、多重数据冗余机制、复杂权限管理、易用易维护等诸多企业级特性,广泛应用于基因测序、石油物探、气象计算、材料创新、环境工程、武器研究、地质勘探、工程计算等高性能计算领域,为科学研究、政府决策、企业创新提供强有力的基础IT设施支撑环境。

为提供持续可靠的性能并简化网络管理,Storswift 公司的可扩展存储解决方案提供了专用的存储网络。Mellanox 的EDR 100Gb/s InfiniBand交换机和ConnectX-5 VPI EDR适配器,提供单端口100Gb/s全线速、无丢包网络传输性能,且不需要对各端口工作模式和链路速度做复杂配置。InfiniBand网络易于部署和管理,可以极大地降低网络复杂性,在要求具备可扩展性和高可靠性的HPC系统解决方案中有显著优势。

 

RDMA技术优势

通过应用EDR InfiniBand网络的远程直接内存访问(RDMA)技术,I/O任务无需使用CPU,释放了计算资源来加速应用程序性能,提高数据的传输效率。RDMA使网络适配器可以直接访问应用程序数据,从而绕过内核、CPU和协议堆栈,使CPU可以在I/O传输进行期间执行更有价值的核心应用任务。大幅提高服务器的性能,使应用程序的工作负载处理能力可以在高带宽网络中高效扩展。

 

关于Mellanox

Mellanox Technologies(NASDAQ:MLNX)是端到端以太网和 InfiniBand 智能互连解决方案和服务的领先提供商,面向服务器、存储和超融合基础架构。Mellanox 智能互连解决方案可提供最高吞吐量和最低延迟、更快地向应用程序传递数据并充分发挥系统性能,从而提高数据中心效率。Mellanox 提供了高性能解决方案的一个选择:网络和多核处理器、网络适配器、交换机、线缆、软件和芯片,它们可针对广泛的市场(包括高性能计算、企业数据中心、Web 2.0、云、存储、网络安全、电信和金融服务)加快应用程序运行时的速度并最大程度实现业务成果。

 

关于StorSwift

上海储迅信息技术有限公司是一家提供高性能网络存储产品及其相关服务的高科技公司。创始团队在存储行业有超过十年的从业经历,具有丰富的大型存储研发和市场经验 。公司在分布式存储领域有着深厚的技术积累,凭借领先的技术架构和产品优势,打造了高性能、高可靠、易维护的企业级存储产品,广泛应用在HPC、AI、电信运营商、广电、医疗、安防等行业。尤其在HPC行业,储迅的分布式文件存储产品提供了对RDMA模式的全面支持,在具有超高性能的同时拥有更好的性价比,同时提供灵活的数据保障措施、易管理易维护的产品架构、覆盖应用方案和底层优化的全面技术支持,为HPC计算任务的稳定高效运行提供最全面的保障方案。