北京时间11月14日凌晨，英伟达在本年度的SC23展会上突然宣布，推出全新的顶级AI芯片HGX H200。预计首批芯片将于2024年第二季度正式面世。英伟达又一次自己超越自己，H200将取代H100成为新的世界最强AI芯片。
相较H100芯片，H200的GPU在内存带宽及容量两方面进行了显著提升。其中，内存带宽倍数提升至1.4倍，内存容量相应增加至原来的1.8倍。据悉，在处理Meta公司研发的大规模语言模型Llama2时，H200的推理速度较H100实现了2倍的提升。
存储技术方面，H200首次引入了HBM3e技术，通过HBM3e，无论是生成式AI，还是大语言模型相关的工作负载都能得到有效加速，从而使整体GPU的内存带宽达到惊人的每秒钟4.8TB，大大超过H100的3.35TB。
此外，其总内存容量提升至141GB，相较此前大幅翻番。内存带宽更是较上一代A100增加了2.4倍。据官方报告显示，与H100相比，H200在处理高性能计算应用程序时，效率提升幅度达到20%以上。
