NVIDIA 在 GTC 2022 大會上發佈全新 Hopper 微架構、新一代 H100 GPU 核心，它是針對 HPC 高性能運算、AI 智能運算，採用了 TSMC 最先進的 4nm 制程、CoWoS 2.5D 晶片封裝、單晶片設計，總數達 800 億個電晶體，號稱世界上最先進的運算晶片。

據了解，完整的 H100 GPU 核心內部共有 8 個 GPC (Graphics Processing Clusters)、72 個 TPC (Texture Processing Clusters)、144 個 SM (Streaming Multiprocessor)，每組 SM 共有 128 個 CUDA 核心，總數 18,432 個，Tensor Core 將會升級至第 4 代，性能將會有更明顯提升，數目共有 576 個。

記憶體子系統方面，H100 GPU 除了將 L2 Cache 增至 60MB，同時具備 12 個 512bit 記憶體控制器、總數達 6,144 bit 記憶體介面。

此外，H100 將支援 PCIe 5.0 介面，同時亦會升級至第 4 代 NV-Link，其傳輸頻寬高達 900GB/s 是 PCIe 5.0 的 7 倍。

性能方面，H100 能提供 60 TFlops FP32/FP64、1,000 TFLOPS TF32 與 2,000 TFLOPS FP16，運算性能這是上代 A100 的 3 倍，FP8 性能更可達 4,000 TFLOPS 是上代 A100 的 6 倍，不過功耗亦大幅提升至 700W 相較上代 A100 多了 300W，看來 NVIDIA 這代在功耗表現上有點失控。