近日，在德国汉堡成功举办了国际超级计算大会(ISC)高性能会议(HPC)。会上，英特尔宣布与阿贡国家实验室携手合作，利用Aurora超级计算机开发了生成式人工智能(AI)模型Aurora genAI，其参数量将达到惊人的1万亿!与ChatGPT的参数规模相比，Aurora genAI将大五倍。
以Megatron和DeepSpeed两个框架为基础
据了解，英特尔Aurora genAI模型将基于两个框架：NVIDIA的Megatron和微软的DeepSpeed。
Megatron是专为分布式训练大规模语言模型而设计的架构，特别优化了Transformer，不仅支持传统的数据并行分布式训练，还支持模型并行。
DeepSpeed则专注于优化大型深度学习模型的训练，通过提升规模、速度、成本和可用性，实现了训练千亿参数模型的能力，极大地推动了大模型的训练。
由Aurora超级计算机提供算力
Aurora genAI模型将依托Aurora超级计算机的强大算力。这台超级计算机是英特尔为阿贡国家实验室设计的。根据目前公开的资料显示，Aurora超级计算机采用英特尔Xeon CPU Max和Xeon GPU Max系列芯片提供支持，共有10624个节点，拥有63744个Ponte Vecchio GPU、21248个Sapphire Rapids至强CPU、1024个分布式异步对象存储(DAOS)存储节点，以及10.9P的DDR5傲腾持久内存。
英特尔方面还透露了Aurora超级计算机的早期性能结果：Aurora超算在科学和工程工作负载上具有领先性能，其性能比AMD MI250 GPU高出两倍，在QMCPACK量子力学应用上提升了20%，并且接近线性扩展，可实现数百个节点。
以科学为重点
Aurora genAI是一个以科学为重点的生成式人工智能模型，将在通用文本、代码、科学文本以及生物学、化学、材料科学、物理学、医学等科学数据上进行训练。
由此产生的AI模型将具备多达1万亿个参数，包括从分子和材料设计到数百万个来源的综合知识，可应用于各种科学领域，如系统生物学、癌症研究、气候科学、宇宙学研究、高分子化学与材料等。除了科学领域，Aurora genAI模型还有望在金融建模、自然语言处理、机器翻译、图像识别和语音识别等其他领域中发挥作用。
除了上述内容，关于Aurora genAI模型的更多信息尚未被英特尔方面透露。根据外媒报道，英特尔计划于2024年开发和完成Aurora genAI模型，如果进展顺利，Aurora genAI将于明年与我们见面。随着英特尔进入AI大模型领域，GPT-4等竞品的发展更加值得期待!
