Trải nghiệm AI với NVIDIA H100 trên các máy chủ Dell

Nền tảng GPU hiệu suất cao NVIDIA H100 trên máy chủ Dell PowerEdge R750 tạo động lực cho các doanh nghiệp sẵn sàng với AI – Tham gia thử nghiệm tại chương trình NVIDIA LaunchPad, nơi cung cấp các lab thực hành miễn phí, cho phép các công ty truy cập vào phần cứng và phần mềm NVIDIA AI mới nhất.

Điều gì đã thúc đẩy bước chuyển mạnh mẽ sang AI như một yếu tố thúc đẩy kinh doanh chính thống? Dữ liệu và sức mạnh tính toán. Các tổ chức ngày nay có một lượng dữ liệu chưa từng có và quyền truy cập vào tính toán hiệu suất cao (HPC), do đó, có thể cho phép các nhà khoa học dữ liệu giải quyết những thách thức đặc biệt. Chìa khóa dẫn đến thành công để đổi mới các doanh nghiệp hiện đại? Một nền tảng doanh nghiệp end-to-end, sẵn sàng cho AI có khả năng đương đầu với những thách thức về hiệu suất thế hệ tiếp theo.

Khởi động nhanh các sáng kiến ​​AI với các giải pháp hiệu suất mới

Những hệ thống PowerEdge được NVIDIA chứng nhận của Dell với các GPU NVIDIA H100 Tensor Core và NVIDIA AI Enterprise – bộ phần mềm AI và phân tích dữ liệu end-to-end, cloud-native – và hiện tại bạn có thể dùng thử GPU NVIDIA H100 trên NVIDIA Launchpad, được xây dựng trên các máy chủ Dell Technologies PowerEdge. Hãy tự mình xem ​​cách chúng tôi làm cho AI và các khả năng thay đổi trò chơi của nó có thể tiếp cận được với hầu hết mọi tổ chức, với hiệu suất cao nhất trong đào tạo, suy luận và khoa học dữ liệu.

Giờ đây, khách hàng có thể ngay lập tức dùng thử công nghệ mới và trải nghiệm cách các hệ thống được NVIDIA chứng nhận của Dell với H100 và NVIDIA AI Enterprise tối ưu hóa việc phát triển và triển khai quy trình làm việc AI để xây dựng các chatbot AI, công cụ khuyến nghị, tầm nhìn AI và hơn thế nữa.

Bằng cách tạo ra một bước nhảy vọt cho AI và HPC quy mô lớn, GPU H100 được triển khai bên trong các máy chủ Dell PowerEdge mang lại hiệu suất, khả năng mở rộng và bảo mật chưa từng có cho mọi trung tâm dữ liệu. Và bởi vì NVIDIA AI Enterprise cùng với NVIDIA H100 đơn giản hóa việc xây dựng nền tảng sẵn sàng cho AI, các tổ chức có thể thu thập thông tin chi tiết nhanh hơn và đạt được giá trị kinh doanh sớm hơn.

GPU H100 mới là tối ưu để mang lại kết quả kinh doanh nhanh nhất với các máy chủ được tăng tốc mới nhất trong danh mục Dell EMC PowerEdge, bắt đầu với R750xa. PowerEdge R750xa nâng các khối lượng công việc lên tầm cao hiệu suất mới với hỗ trợ GPU và bộ tăng tốc cho các khối lượng công việc đòi hỏi bao gồm cả enterprise AI. Với thiết kế nâng cao, làm mát bằng không khí và hỗ trợ đến 4 GPU NVIDIA double-width, máy chủ PowerEdge R750xa được thiết kế nhằm mục đích mang lại hiệu suất tối ưu cho toàn bộ khối lượng công việc HPC, đào tạo và suy luận AI-ML/DL.

Hợp lý hóa triển khai AI được tăng tốc với các tài nguyên mới

NVIDIA AI Enterprise bao gồm các container và framework mã nguồn mở, đã được chứng minh, giúp dễ dàng áp dụng enterprise AI, bao gồm speech AI, thường được sử dụng để hỗ trợ khách hàng tự động, các đại lý bán hàng kỹ thuật số và thị giác máy tính, được sử dụng để phân đoạn, phân loại và phát hiện.

Máy chủ PowerEdge được NVIDIA chứng nhận của Dell có tất cả các tính năng của GPU H100 và hoạt động song song với bộ phần mềm NVIDIA AI Enterprise, cho phép mọi doanh nghiệp vượt trội hơn với AI.

Hỗ trợ cấp doanh nghiệp cũng được bao gồm trong NVIDIA AI Enterprise, mang lại cho các tổ chức sự minh bạch của nguồn mở và sự tự tin đi kèm với một giải pháp đã được chứng minh và hỗ trợ bởi Dell và NVIDIA, cũng như mạng lưới đối tác dịch vụ trên toàn thế giới của chúng tôi. Khi được kết hợp, khả năng hợp lý hóa quy trình làm việc của AI từ các giai đoạn chuẩn bị dữ liệu ban đầu đến đào tạo, suy luận và triển khai mô hình theo quy mô, cho phép cả những người thực hành AI và quản trị viên CNTT theo dõi các dự án AI.

Các hệ thống được NVIDIA chứng nhận của Dell với H100 và NVIDIA AI Enterprise hoạt động hiệu quả và linh hoạt, cung cấp đào tạo AI nhanh nhất trên các mô hình lớn với NVIDIA H100 Transformer Engine; hiệu quả và bảo mật cao nhất với công nghệ NVIDIA Multi-Instance GPU (MIG) thế hệ thứ hai, điện toán an toàn và hiệu suất suy luận hàng đầu, được hợp lý hóa bằng cách sử dụng phần mềm NVIDIA Triton Inference Server. Với khả năng tăng tốc một loạt các trường hợp sử dụng và tính linh hoạt để phục vụ toàn bộ AI pipeline trên một cơ sở hạ tầng, nền tảng này cung cấp khả năng chia sẻ tài nguyên hiệu quả và khả năng mở rộng thành các cấu hình multi-GPU và multi-node để đạt được sự linh hoạt tối đa.

Giờ đây, các tổ chức có thể phục vụ AI pipeline trên một cơ sở hạ tầng và thích ứng với quy mô nhu cầu kinh doanh theo thời gian.

H100 tăng tốc các khối lượng công việc exascale với Transformer Engine chuyên dụng cho các mô hình ngôn ngữ lớn hàng nghìn tỷ tham số. Đối với các công việc nhỏ, H100 có thể được phân chia thành các phân vùng MIG có kích thước phù hợp. Với các tính năng điện toán an toàn của Hopper, sức mạnh tính toán có thể mở rộng này có thể bảo vệ các ứng dụng nhạy cảm trên cơ sở hạ tầng trung tâm dữ liệu dùng chung. Những tiến bộ về cơ sở hạ tầng này, hoạt động song song với bộ phần mềm NVIDIA AI Enterprise, biến H100 trở thành nền tảng trung tâm dữ liệu AI và HPC end-to-end mạnh mẽ nhất.

Bạn quan tâm đến dòng máy chủ Dell được NVIDIA chứng nhận cho AI?

Hãy tham khảo các cấu hình cơ bản của máy chủ Dell PowerEdge R750.

	Máy chủ Dell PowerEdge R750 – 24×2.5″ (Basic)	Máy chủ Dell PowerEdge R750 – 24×2.5″ (Pro)
CPU Support	Up to two 3rd Generation Intel Xeon Scalable processors with up to 40 cores	Up to two 3rd Generation Intel Xeon Scalable processors with up to 40 cores
RAM Support	32 DDR4 DIMM slots, supports RDIMM 2 TB max or LRDIMM 8 TB max, speeds up to 3200 MT/s Up to 16 Intel Persistent Memory 200 series (BPS) slots, 8 TB max Supports registered ECC DDR4 DIMMs only	32 DDR4 DIMM slots, supports RDIMM 2 TB max or LRDIMM 8 TB max, speeds up to 3200 MT/s Up to 16 Intel Persistent Memory 200 series (BPS) slots, 8 TB max Supports registered ECC DDR4 DIMMs only
Drive Bays	Up to 24 x 2.5-inch SAS/SATA/NVMe (HDD/SSD) max 368.84 TB	Up to 24 x 2.5-inch SAS/SATA/NVMe (HDD/SSD) max 368.84 TB
RAID Controller	PERC H755	PERC H755
Form Factor	2U	2U
PCIe	Up to 8 x PCIe Gen4 slots (up to 6 x16) with support for SNAP I/O modules	Up to 8 x PCIe Gen4 slots (up to 6 x16) with support for SNAP I/O modules
Power Supply	2 x 1100W	2 x 1100W
PSU Supports	1100W – 2400W Platinum hot swap redundant	1100W – 2400W Platinum hot swap redundant