thiết bị NVIDIA Hopper GPU & DGX H100

NVIDIA Hopper GPU & DGX H100: Tối ưu hóa hiệu suất đột phá cho AI

Trong sự kiện GTC23, NVIDIA và các đối tác đã chính thức giới thiệu sản phẩm và dịch vụ mới sử dụng GPU NVIDIA H100 Tensor Core – một trong những GPU mạnh nhất thế giới hiện nay dành cho AI – để đáp ứng nhu cầu ngày càng tăng về đào tạo và suy luận tổng quát về trí tuệ nhân tạo.

Oracle Cloud Infrastructure (OCI) đã thông báo về tính khả dụng giới hạn của phiên bản mới OCI Compute có GPU H100. Amazon Web Services (AWS) cũng đã thông báo về phiên bản EC2 UltraCluster sắp ra mắt của Amazon EC2 P5, cho phép mở rộng quy mô lên đến 20.000 GPU H100 được kết nối với nhau.

Microsoft Azure cũng đã giới thiệu máy ảo ND H100 v5 của mình trong tuần trước với tính năng đặc biệt. Ngoài ra, Meta đã sử dụng siêu máy tính Grand Teton AI chạy bằng GPU H100 để nghiên cứu và sản xuất trí tuệ nhân tạo. Quý khách có thể tìm hiểu thêm về thông tin giá cả và chi tiết sản phẩm tại các đối tác của NVIDIA.

Trong buổi phát biểu quan trọng của GTC, ông Jensen Huang –  Giám đốc điều hành của NVIDIA đã thông báo về việc hoàn tất sản xuất siêu máy tính AI NVIDIA DGX H100 và sẽ sớm cung cấp cho các doanh nghiệp trên toàn thế giới.

H100 được xây dựng trên kiến trúc GPU NVIDIA Hopper với công cụ biến áp tích hợp, được tối ưu hóa để phát triển, đào tạo và triển khai các ứng dụng trí tuệ nhân tạo tổng quát, mô hình ngôn ngữ lớn và hệ thống đề xuất. H100 có độ chính xác FP8 cung cấp tốc độ đào tạo AI nhanh hơn 9 lần và suy luận AI nhanh hơn tới 30 lần trên LLM so với A100 thế hệ trước.

NVIDIA DGX H100 được trang bị tám GPU H100 kết nối với tốc độ cao của NVIDIA NVLink và kết nối mạng NVIDIA Quantum InfiniBand và Spectrum Ethernet tích hợp, mang lại hiệu suất điện toán lên tới 32 petaflop với độ chính xác FP8.

DGX H100 cũng được trang bị đầy đủ ngăn xếp phần mềm NVIDIA AI, cho phép các doanh nghiệp chạy và quản lý khối lượng công việc AI của họ trên quy mô lớn. Điều này bao gồm phiên bản mới nhất của NVIDIA AI Enterprise và NVIDIA Base Command, hệ điều hành của trung tâm dữ liệu DGX, giúp hợp lý hóa quá trình phát triển AI và điều phối hoạt động và đào tạo AI trên nền tảng NVIDIA DGX.

Trí tuệ nhân tạo là một sự đột phá có tiềm năng thay đổi mọi ngành công nghiệp và NVIDIA cùng với các đối tác của mình đang nỗ lực cung cấp nền tảng điện toán trí tuệ nhân tạo mạnh mẽ nhất thế giới để hỗ trợ cho các ứng dụng trí tuệ nhân tạo ngày càng phát triển.

GPU mạnh mẽ nhất thế giới dành cho AI thúc đẩy sự đổi mới trong AI sáng tạo

NVIDIA và các đối tác vừa công bố sản phẩm và dịch vụ mới với GPU NVIDIA H100 Tensor Core – một trong những GPU mạnh nhất thế giới dành cho Trí tuệ Nhân tạo. H100 đã được tối ưu hóa để phát triển, đào tạo và triển khai các ứng dụng AI tổng quát, mô hình ngôn ngữ lớn và hệ thống đề xuất.

Với kiến trúc điện toán Transformer Engine và GPU Hopper tích hợp, H100 mang đến khả năng đào tạo AI nhanh hơn 9 lần và suy luận AI nhanh hơn tới 30 lần trên các mô hình ngôn ngữ lớn so với thế hệ trước đây. Điều này sẽ đem lại cho các doanh nghiệp khả năng phát triển các ứng dụng AI mạnh mẽ và hiệu quả hơn bao giờ hết.

Cùng với NVIDIA, một số người tiên phong trong lĩnh vực AI tổng quát đã sử dụng H100 trong các nghiên cứu và sản xuất của họ. OpenAI sẽ sử dụng H100 trên siêu máy tính Azure của mình để hỗ trợ nghiên cứu AI tiếp diễn. Meta đã triển khai nội bộ siêu máy tính Grand Teton AI sử dụng H100 cho các nhóm nghiên cứu và sản xuất AI. Stability AI là khách hàng truy cập sớm H100 trên AWS và sẽ sử dụng H100 để tăng tốc các mô hình video, 3D và đa phương thức trong tương lai. Twelve Labs có kế hoạch sử dụng các phiên bản H100 trên Siêu cụm OCI để tạo video ngay lập tức, thông minh và dễ tìm kiếm. Anlatan đang sử dụng các phiên bản H100 trên nền tảng đám mây của CoreWeave để tạo và suy luận mô hình.

Ngoài ra, các nhà cung cấp đám mây lớn đã cung cấp H100 trên nền tảng của họ. Cơ sở hạ tầng đám mây Oracle (OCI) đã công bố tính khả dụng hạn chế của các phiên bản GPU kim loại trần OCI Compute mới có GPU H100. Amazon Web Services đã công bố các phiên bản EC2 UltraCluster sắp tới của Amazon EC2 P5, có thể mở rộng quy mô lên tới 20.000 GPU H100 được kết nối với nhau. Microsoft Azure cũng công bố máy ảo H100, ND H100 v5.

Trong bài đăng trên blog, ông Jensen Huang – người sáng lập và điều hành NVIDIA cho biết AI Sáng tạo có tiềm năng vô cùng đáng kinh ngạc, đang truyền cảm hứng cho hầu hết các ngành công nghiệp. Công nghệ này giúp hình dung lại chiến lược kinh doanh và các công nghệ cần thiết để đạt được chúng. NVIDIA cùng với các đối tác của họ đang nỗ lực để cung cấp nền tảng điện toán AI mạnh nhất thế giới, để thay đổi cách chúng ta sống, làm việc và giải trí.

Với việc sử dụng siêu máy tính AI NVIDIA DGX H100, các doanh nghiệp có thể sử dụng kho phần mềm AI hoàn chỉnh của NVIDIA, bao gồm phiên bản mới nhất của INDIA AI Enterprise và NVIDIA Base Command, để chạy và quản lý khối lượng công việc AI của họ một cách liền mạch trên quy mô lớn.

Thiết bị DGX H100 có tám GPU H100 được kết nối với kết nối tốc độ cao NVIDIA NVLink và kết nối mạng NVIDIA Quantum InfiniBand và Spectrum Ethernet tích hợp, cung cấp hiệu suất điện toán 32 petaflop với độ chính xác FP8 và kết nối mạng nhanh hơn gấp đôi so với thế hệ trước đó.

Siêu máy tính AI DGX H100 của NVIDIA đang được sử dụng rộng rãi trên toàn cầu, bao gồm những đối tác tiêu biểu như CyberAgent, phòng thí nghiệm Vật lý Ứng dụng tại Đại học Johns Hopkins, Viện Công nghệ Hoàng gia KTH, tập đoàn Mitsui và Telconet.

Các công ty này sử dụng DGX H100 để tạo ra quảng cáo kỹ thuật số do AI tạo ra, đào tạo LLM cho nghiên cứu và phát triển, cung cấp các chương trình khoa học máy tính hàng đầu cho giáo dục đại học, khám phá thuốc, phát triển các phân tích video thông minh cho các thành phố an toàn hơn và các dịch vụ ngôn ngữ hỗ trợ khách hàng sử dụng các phương ngữ khác nhau bằng sức mạnh của DGX H100.

Hệ sinh thái Hỗ trợ

GPU DGX H100 – Công cụ tăng tốc học máy tiên tiến nhất cho đổi mới AI Các công ty hàng đầu trong nhiều ngành công nghiệp đang háo hức với sự xuất hiện của GPU DGX H100, nhận thấy tiềm năng to lớn của nó trong đổi mới AI và cung cấp năng lượng cho các mô hình AI sáng tạo.

Theo Giám đốc điều hành của Anlatan, Eren Doğan, GPU DGX H100 là công cụ tăng tốc học máy tiên tiến nhất, mang lại lợi thế cạnh tranh cho họ trong ngành. Phó chủ tịch Amazon EC2 của Amazon Web Services, David Brown, cho biết AWS đã hợp tác với NVIDIA trong hơn 12 năm để cung cấp các giải pháp dựa trên GPU quy mô lớn theo yêu cầu. Với EFA thế hệ thứ hai, khách hàng có thể mở rộng quy mô phiên bản P5 của họ lên hơn 20.000 GPU H100, giúp mang khả năng siêu máy tính đến mọi tổ chức.

Phó chủ tịch cơ sở hạ tầng hệ thống và dịch vụ của Google Cloud, Amin Vahdat, giải thích rằng GPU DGX H100 sẽ cho phép khách hàng của họ tạo ra bước đột phá mới trong đổi mới AI và họ rất vui mừng được hợp tác với NVIDIA trong việc thúc đẩy nỗ lực của các doanh nghiệp nhằm khai thác sức mạnh của AI sáng tạo.

Theo Alexis Bjorlin, Phó chủ tịch phụ trách Cơ sở hạ tầng, Hệ thống AI và Nền tảng tăng tốc của Meta, siêu máy tính Grand Teton AI sử dụng H100 để đẩy nhanh quá trình đào tạo và suy luận các mô hình AI của họ, với khả năng tính toán, dung lượng bộ nhớ và băng thông lớn hơn.

Scott Guthrie, Phó chủ tịch điều hành Nhóm Cloud + AI của Microsoft, nhận thấy tiềm năng của DGX H100 trong việc cung cấp chức năng và hiệu suất điện toán vô song cho các doanh nghiệp đang tìm cách mở rộng khả năng AI của họ.

Greg Brockman, Chủ tịch và Đồng sáng lập của OpenAI, nhận ra tầm quan trọng của sức mạnh tính toán của GPU DGX H100 Tensor Core trong việc cho phép nỗ lực của họ thúc đẩy ranh giới đào tạo và suy luận AI, mở khóa công việc nghiên cứu và căn chỉnh của họ trên các hệ thống như GPT-4.

Greg Pavlik, CTO và Phó chủ tịch cấp cao của Cơ sở hạ tầng đám mây Oracle, hào hứng với sức mạnh của GPU DGX H100 trong việc mang lại giá trị lớn cho khách hàng và mang lại khả năng siêu máy tính AI trên quy mô lớn cho hàng nghìn tổ chức thuộc mọi quy mô.

Emad Mostaque, sáng lập và giám đốc điều hành của Stability AI, đã công nhận sức mạnh biến đổi của GPU DGX H100 trong việc cung cấp sức mạnh tính toán chưa từng có để thúc đẩy khả năng sáng tạo và nghiên cứu của những người muốn tận dụng sức mạnh của trí tuệ nhân tạo. Đây mở ra cơ hội để khám phá những nội dung đa phương tiện, như video và 3D, của họ với các mô hình được hưởng lợi từ kiến trúc tiên tiến và kết nối cao hơn cho hàng exabyte dữ liệu.

Jae Lee, Giám đốc điều hành của Twelve Labs, rất vui mừng khi được tận dụng GPU DGX H100 để tiếp tục dẫn đầu nỗ lực đưa các mô hình nền tảng video ra thị trường.

Siêu máy tính DGX H100 của NVIDIA hiện đã có sẵn và được phân phối bởi các đối tác trên toàn thế giới. Khách hàng có thể trải nghiệm thử DGX H100 ngay hôm nay thông qua NVIDIA DGX Cloud và xem giá của sản phẩm từ các đối tác NVIDIA DGX trên toàn thế giới.

Các nhà cung cấp đám mây như Azure, Oracle, Cirrascale, CoreWeave, AWS, Google Cloud cũng đang có kế hoạch cung cấp DGX H100 cho khách hàng. Ngoài ra, các nhà sản xuất máy chủ hàng đầu cũng cung cấp máy chủ và hệ thống có GPU NVIDIA H100.