Làm cách nào để xây dựng một cụm với 128 DGX H100?

NVIDIA DGX H100 ra mắt năm 2022 được trang bị 8 card mạng ConnectX-7 cổng đơn, hỗ trợ băng thông NDR 400Gb/s và 2 DPU Bluefield-3 cổng kép (200Gb/s) có thể hỗ trợ mạng IB/Ethernet . Sự xuất hiện được thể hiện trong hình dưới đây.

DGX H100 có 4 cổng QSFP56 cho mạng lưu trữ và mạng quản lý In-Band; Ngoài ra, còn có một cổng Ethernet 10G để quản lý Hệ điều hành máy chủ từ xa và một cổng Ethernet 1G để Quản lý hệ thống từ xa.

Từ hình vẽ cấu trúc liên kết mạng nội bộ của máy chủ, có 4 cổng OSFP để kết nối mạng máy tính (các cổng màu tím) và các khối màu xanh lam là card mạng, có thể đóng vai trò là card mạng và cũng đóng vai trò mở rộng PCIe Switch , trở thành cầu nối giữa CPU và GPU.

Nếu sơ đồ kết nối cụm NVIDIA SuperPOD NVLink được áp dụng, 32 chiếc H100 sẽ được kết nối với nhau thông qua các bộ chuyển mạch NVLink bên ngoài. 8 GPU bên trong máy chủ được kết nối với 4 mô-đun NVSwitch, mỗi mô-đun NVSwitch tương ứng với 4-5 mô-đun quang OSFP , tổng cộng 18 OSFP và sau đó các OSFP được kết nối với 18 bộ chuyển mạch NVLink bên ngoài. (Hiện tại H100 trên thị trường chưa có 18 module OSFP này) Bài viết này không bàn về phương pháp kết nối mạng NVLink mà tập trung vào phương pháp kết nối mạng IB. Theo tài liệu thiết kế tham khảo của NVIDIA: Trong cụm máy chủ DGX H100, cứ 32 chiếc DGX H100 tạo thành một SU, và cứ 4 chiếc DGX H100 được đặt trong một rack riêng (ước tính công suất mỗi rack gần 40KW), và các công tắc khác nhau được đặt trong hai giá đỡ độc lập. Do đó, mỗi SU chứa 10 giá đỡ (8 giá để đặt máy chủ và 2 giá để đặt thiết bị chuyển mạch). Mạng máy tính chỉ cần sử dụng bộ chuyển mạch hai lớp Spine-Leaf (Mellanox QM9700), cấu trúc liên kết mạng được hiển thị trong hình sau.

Cách sử dụng chuyển mạch: Trong cụm, cứ 32 DGX H100 tạo thành một SU (có 8 công tắc Lá trong mỗi SU) và có 4 SU trong cụm máy chủ 128 H100 nên có tổng cộng 32 công tắc Lá. Mỗi DGX H100 trong SU cần có kết nối với tất cả 8 Switch Lá. Do mỗi máy chủ chỉ có 4 cổng OSFP để kết nối mạng máy tính nên sau khi kết nối module quang 800G với mỗi cổng, một cổng OSFP được mở rộng thành hai cổng QSFP thông qua cổng mở rộng, đạt được kết nối của mỗi DGX H100 với 8 Switch Lá. Mỗi Switch Lá có 16 cổng uplink kết nối với 16 Switch Spine.

Cách sử dụng mô-đun quang: Cần có mô-đun quang 400G cho các cổng đường xuống của Công tắc Lá và nhu cầu là 3284. Mô-đun quang 800G được sử dụng cho các cổng đường lên của Công tắc Lá và nhu cầu là 1684. Mô-đun quang 800G được sử dụng cho các cổng đường xuống của Spine switch. Do đó, trong cụm máy chủ 128 H800, mạng máy tính đã sử dụng module quang 800G 1536 và module quang 400G 1024.