腾讯云近日发布了新一代HCC高性能计算集群,采用最新一代星星海自研服务器,搭载NVIDIA H800 Tensor Core GPU,基于自研网络和存储架构,带来3.2T超高互联带宽B级吞吐能力和千万级IOPS。实测结果显示,新一代集群算力性能较前代提升3倍。
为了应对大模型训练中单体服务器提供算力有限的问题,腾讯云采用大规模、分布式的高性能计算集群。新一代集群的单GPU卡在不同精度下,支持输出最高1979 TFlops的算力。
以下是新一代集群在计算层面、网络层面和存储层面的优化:
计算层面
为了针对大模型场景的需要,星星海自研服务器采用了6U超高密度设计,相较行业可支持的上架密度提高30%。通过CPU和GPU节点的一体化设计,将单点算力性能提升至更高。
![腾讯云发布新一代HCC高性能计算集群,单GPU算力最高1979 TFlops](https://www.webhostingtalk.cn/wp-content/uploads/2023/04/腾讯云1.png)
网络层面
随着集群规模的扩大,计算节点间存在着海量的数据交互需求。腾讯自研的星脉高性能计算网络,具备业界最高的3.2T RDMA通信带宽。实测结果显示,搭载同等数量的GPU,3.2T星脉网络相较1.6T网络,集群整体算力提升20%。腾讯自研的高性能集合通信库TCCL,融入定制设计的解决方案,相对业界开源集合通信库,为大模型训练优化40%负载性能,消除多个网络原因导致的训练中断问题。
存储层面
大模型训练中,大量计算节点会同时读取一批数据集,需要尽可能缩短数据加载时长,避免计算节点产生等待。腾讯云自研的存储架构,具备TB级吞吐能力和千万级IOPS,支持不同场景下对存储的需求。COS+GooseFS对象存储方案和CFS Turbo高性能文件存储方案,充分满足大模型场景下高性能、大吞吐和海量存储要求。
同时,新一代集群集成了腾讯云自研的TACO训练加速引擎,腾讯云自研的TACO训练加速引擎对网络协议、通信策略、AI框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。此外,腾讯混元大模型背后的训练框架AngelPTM也已通过腾讯云TACO提供服务,帮助企业加速大模型落地。
腾讯云TI平台的大模型能力和工具箱,结合产业场景数据进行精调训练,可以提升生产效率、快速创建和部署AI应用。腾讯云智算平台提供16 EFLOPS的浮点算力,规模业界领先,依托分布式云原生的治理能力,可以持续加速全社会云上创新。
腾讯云通过软硬一体的方式,打造面向AIGC的高性能智算网络。以新一代集群为标志,基于自研芯片、星星海自研服务器和分布式云操作系统遨驰。随着技术的不断创新和发展,腾讯云将继续助力企业实现数字化转型,推动全球人工智能发展。