AWS推出英伟达H100 GPU支持的EC2 P5实例，加速AI训练与推理

AWS（亚马逊网络服务）现在为用户推出了新的Amazon EC2 P5实例，该实例由英伟达 H100 Tensor Core GPU 提供支持，可在AI训练和推理领域展示领先性能。这项云计算服务使用户能够轻松扩展生成式AI、高性能计算（HPC）和其他应用程序。

英伟达 H100 GPU采用了第四代Tensor Cores、新的Transformer引擎以加速大型语言模型（LLMs），以及最新的NVLink技术（使GPU间的通信速度达到900GB/秒），从而实现了超级计算级别的性能。

Amazon EC2 P5实例非常适合训练和运行复杂的LLMs和计算机视觉模型进行推断。这些神经网络推动了问题回答、代码生成、视频和图像生成、语音识别等最具挑战性和计算密集型的生成式AI应用。

P5实例可以部署在大规模集群中，称为EC2 UltraClusters，这些集群由高性能计算、网络和云存储组成。每个EC2 UltraCluster都代表着一台强大的超级计算机，使客户能够在多个系统上运行最复杂的AI训练和分布式HPC工作负载。

此外，客户可以在需要高水平计算节点之间通信的规模应用程序上运行P5实例。P5实例使用由AWS Elastic Fabric Adapter（EFA）提供支持的Petabit级非阻塞网络，为Amazon EC2实例提供了3200 Gbps的网络接口。

通过P5实例，机器学习应用程序可以使用NVIDIA Collective Communications Library，同时利用多达20,000个H100 GPU。

英伟达AI Enterprise可帮助用户充分发挥P5实例的潜力，提供了包括100多个框架、预训练模型、AI工作流程和用于调整AI基础设施的工具在内的全套软件。

英伟达AI Enterprise旨在简化AI应用程序的开发和部署，解决构建和维护高性能、安全、云原生AI软件平台的复杂性。该软件可在AWS Marketplace上获得，提供持续的安全监控、定期修补常见漏洞、API稳定性、企业支持以及与英伟达AI专家互动的机会。

官网地址：https://autogenai.com/