Supermicro SYS-751GE-TNRT-NV1 

Hệ thống phát triển AI làm mát bằng chất lỏng (Liquid Cooled AI) của Supermicro và Nvidia: Giải pháp AI hiệu năng cao cho môi trường văn phòng

Trí tuệ nhân tạo  (AI) ngày càng phổ biến, nhanh chóng trở thành một công nghệ thiết yếu được sử dụng trong nhiều ngành công nghiệp khác nhau và các nhà phát triển, khoa học sẽ rất cần các hạ tầng AI tiên tiến để thực thi và phát triển các ứng dụng mới. Với SYS-751GE-TNRT-NV1, nền tảng AI làm mát bằng chất lỏng (Liquid Cooled AI) thế hệ mới, phát triển bởi Supermicro và NVIDIA, giúp các nhà phát triển AI thúc đẩy và phát triển thế giới AI một cách nhanh chóng.

Tính cục bộ: Với khả năng di chuyển nhanh, hệ thống này kết hợp CPU nhanh và nhiều GPU để đảm bảo độ trễ thấp. Không cần phụ thuộc vào mạng chậm từ văn phòng làm việc. Đặt hệ thống phát triển tại nơi làm việc giúp tăng hiệu suất cho ứng dụng AI yêu cầu thời gian phản hồi nhanh.

Tiếng ồn: Hệ thống làm mát bằng chất lỏng giảm đáng kể tiếng ồn SYS-751GE-TNRT-NV1 chỉ phát ra khoảng 30 dB khi không hoạt động và tối đa 50 dB khi hoạt động với tải CPU 100%. Điều quan trọng là hệ thống tự động làm mát CPU và GPU bằng chất lỏng.

Khả năng di động: SYS-751GE-TNRT-NV1 có thể dễ dàng di chuyển giữa các văn phòng. Khi nhu cầu thay đổi, hệ thống AI mạnh mẽ này có thể triển khai lại chỉ bằng cách kết nối đơn giản với mạng. Nếu cần đặt trong trung tâm dữ liệu, hệ thống có thể gắn trên giá rack. Với mức tiếng ồn thấp và yêu cầu điện văn phòng tiêu chuẩn, hệ thống này phù hợp với nhiều môi trường làm việc.

AI đang được phát triển và sử dụng trong nhiều ngành công nghiệp và khối lượng công việc, bao gồm (nhưng không giới hạn):

• Architecture, Engineering and Construction
• Media & Entertainment
• Design & Manufacturing
• Software & Science

AI Development and Execution Where Developers and Users Live

Trí tuệ nhân tạo (AI) đang trở nên phổ biến và các nhà phát triển đang cần các hệ thống địa phương với sự kiểm soát đầy đủ về phần cứng và phần mềm để tạo ra hoặc thực thi các ứng dụng mới.

Hệ thống SYS-751GE-TNRT-NV1 là một giải pháp hoàn chỉnh chứa đựng phần cứng và phần mềm cần thiết cho việc phát triển AI và thực thi các ứng dụng sau đó.

Độ phổ biến: Rất nhiều lĩnh vực và trường hợp sử dụng yêu cầu độ trễ thấp rất thấp cho việc sử dụng tương tác. Với khả năng di chuyển nhanh chóng của hệ thống này với sự kết hợp của các CPU nhanh chóng với nhiều CPU và bộ gia tốc đồ họa, độ trễ được giữ ở mức tối thiểu. Chúng không liên quan đến mạng lưới tương đối chậm từ văn phòng làm việc. Mặc dù phần cứng có thể được cài đặt trong một trung tâm dữ liệu, độ trễ đến màn hình người dùng sẽ bao gồm truyền dữ liệu đồ họa qua mạng (VDI), điều này sẽ không cho phép sự kết hợp của thuật toán AI và các ứng dụng hiển thị hoạt động cùng nhau. Việc đặt hệ thống phát triển ở nơi mà con người đang đặt mình tăng năng suất cho các ứng dụng dựa trên AI yêu cầu thời gian phản hồi nhanh với độ trễ tối thiểu.

Nền tảng phát triển AI với làm lạnh bằng chất lỏng giảm đáng kể tiếng ồn. So với một trung tâm dữ liệu, các khu vực làm việc được mong đợi có tiếng ồn giảm, với nền tảng phát triển AI SYS-751GE-TNRT-NV1 phát ra khoảng 30 dB khi không hoạt động, 40dB khi hoạt động ở mức tải CPU 50%, và 50dB ở mức tải 100%. Điểm chính là sử dụng một hệ thống làm lạnh bằng chất lỏng tự động, trong đó CPU và GPU đều được làm lạnh bằng chất lỏng.

Di động: Khác với một máy chủ trong một trung tâm dữ liệu, SYS-751GE-TNRT-NV1 có thể di chuyển từ một văn phòng sang văn phòng khác. Khi nhu cầu của một phòng ban thay đổi, một hệ thống máy tính AI mạnh mẽ có thể được triển khai lại dễ dàng với một kết nối đơn giản đến mạng. Nếu máy chủ phát triển AI cần được đặt trong một trung tâm tính toán tập trung, hệ thống có thể dễ dàng được gắn trên một tủ trung tâm dữ liệu. Hệ thống này được thiết kế để được đặt trong một văn phòng, gian làm việc hoặc tại nhà do mức độ tiếng ồn khoảng 30dB và yêu cầu điện văn phòng tiêu chuẩn.

NVIDIA AI Enterprise Development Platform Summary

Nvidia AI Enterprise là một bộ phần mềm trí tuệ nhân tạo hoàn chỉnh cho phép các nhà phát triển và tổ chức trở nên hiệu suất hơn nhanh chóng. Ngoài ra, phần mềm này cung cấp giải pháp cho các tổ chức để tăng hiệu suất hoạt động. Với một bộ phần mềm AI đầy đủ, bao gồm quy trình làm việc, khung công việc và các mô hình được huấn luyện trước, Nvidia AI Enterprise  là một thành phần phần mềm quan trọng đối với các nhà phát triển và người dùng AI. NVIDIA AI Enterprise có sẵn trên NVIDIA NGC, và hệ thống này bao gồm một gói đăng ký NVIDIA AI Enterprise cung cấp quyền truy cập vào một thư viện phần mềm đầy đủ, bao gồm quy trình làm việc AI, khung công việc và hơn 50+ mô hình đã được NVIDIA huấn luyện trước, để các tổ chức có thể phát triển một lần và chạy ở bất kỳ đâu.

• Tận dụng phần mềm tích hợp đầy đủ, được tối ưu hóa, được chứng nhận và được hỗ trợ từ NVIDIA cho công việc AI.
• Chạy các khung công việc và công cụ AI của NVIDIA được tối ưu hóa cho gia tốc GPU, giảm thời gian triển khai và đảm bảo hiệu suất đáng tin cậy.
• Triển khai ở bất kỳ đâu – bao gồm trên các nền tảng trung tâm dữ liệu phổ biến từ VMware và Red Hat, các hệ thống NVIDIA-Certified thông dụng được cấu hình với hoặc không có GPU, và các phiên bản được gia tốc GPU trên đám mây công cộng.
• Tận dụng các giải pháp được chứng nhận chung của NVIDIA và Red Hat để triển khai và quản lý công việc AI trong các container hoặc máy ảo  với phần mềm được tối ưu hóa.
• Mở rộng lên nhiều nút, cho phép thực hiện các mô hình đào tạo học sâu lớn nhất trên nền tảng VMware vSphere. Trước đây, việc mở rộng với hiệu suất kim loại trần trong một môi trường ảo hóa đầy đủ bị giới hạn chỉ đến một nút duy nhất, hạn chế độ phức tạp và kích thước của các công việc AI có thể được hỗ trợ.
• Chạy các công việc AI với hiệu suất gần như kim loại trần với các tối ưu hóa mới cho gia tốc GPU trên vSphere, bao gồm hỗ trợ cho kiến trúc Ampere mới nhất, bao gồm NVIDIA A100. Ngoài ra, các công nghệ như GPUDirect Communications hiện có thể được hỗ trợ trên vSphere. Khả năng này cung cấp truyền thông giữa bộ nhớ GPU và lưu trữ trên một cụm để cải thiện hiệu suất.

AI Development System Hardware Components

Supermicro SYS-751GE-TNRT-NV1 là một giải pháp hoàn chỉnh chứa một số công nghệ mạnh mẽ đã được chọn để mang lại trải nghiệm người dùng tối ưu:

• CPUs: Dual 4th Gen Intel® Xeon® Gold 6444Y, 16C/32T, running at a base clock rate of 3.6 GHz, with an all-turbo boost clock of 4.0 GHz. Intel Xeon CPU Max Series is also available.
  • GPUs: 4x NVIDIA A100-LC 80GB PCIe GPUs (Liquid Cooled)
  • GPU Interconnect: 2x NVIDIA NVLINK Bridge
  • Memory: 512GB DDR5-4800MHz memory
  • Storage: 6x Micron 1.9TB NVMe SSDs,
  o Two configured for RAID1 for the Operating System
  o Four for data storage.
  • Graphics: NVIDIA Quadro RTX A4000
  • NVIDIA Mellanox Conenct-X6 25Gb SFP28

AI Development System Software Components

Supermicro SYS-751GE-TNRT-NV1 được cài đặt sẵn những thứ sau:

• NVIDIA AI Enterprise Suite with 3 years subscription installed, version 3.0
• Ubuntu OS installed, version 22.04

Liquid Cooled AI Development System Details

Một hệ thống được đóng gói chặt chẽ với hai CPU và bốn GPU cao cấp sẽ tạo ra một vấn đề làm mát khó giải quyết với các quạt cấp máy chủ thông thường. Hệ thống Supermicro SYS-751GE-TNRT-NV1 là một hệ thống làm mát bằng chất lỏng độc lập, hiếm khi cần bảo trì.

Hình bên dưới làm nổi bật CPUs, Memory, PCIe Slots, Radiator, and Drive cage.

Dưới đây là hình ảnh mặt trước của hệ thống.

Mặt sau của SYS-0751GE-TNRT-NV1

Mặt bên, phía trong của SYS-751GE-TNRT-NV1

AI Development Systems Liquid Cooling Components

Một hệ thống làm mát bằng chất lỏng được đặt trên bàn làm việc thường không có quyền truy cập vào cơ sở hạ tầng của tòa nhà để làm mát chất lỏng. Do đó, một hệ thống tự chứa phải được triển khai trong chính máy chủ. Các thành phần cần thiết bao gồm:

• Tấm lạnh: các thiết bị này chuyển nhiệt từ phần trên của CPU nóng vào chất lỏng. Chất lỏng ra khỏi tấm lạnh ấm hơn so với khi nó vào. Có thể cài đặt các tấm lạnh để hoạt động song song.
• Bơm: chất lỏng phải được di chuyển trong hệ thống, từ bình chứa đến tấm lạnh, tới bộ tản nhiệt và quay trở lại bình chứa.
• Ống dẫn: độ dài và đường kính ống dẫn đúng đắn rất quan trọng đối với hiệu suất của hệ thống phát triển làm mát bằng chất lỏng.
• Bộ tản nhiệt: nhiệt từ CPU và GPU phải được loại bỏ khỏi chất lỏng. Cách đơn giản nhất để làm điều này là sử dụng một bộ tản nhiệt đơn giản, trong đó chất lỏng ấm vào từ phía trên của bộ tản nhiệt và không khí nhiệt độ phòng lưu thông qua chất lỏng, giảm nhiệt độ của chất lỏng khi nó ra khỏi thiết bị.
• Bình chứa: bình chứa làm mát chất lỏng trong hệ thống lưu trữ chất lỏng dư thừa nếu cần.
• Chất làm mát: Hệ thống phát triển AI làm mát bằng chất lỏng của Supermicro chứa một chất làm mát được phát triển để vận chuyển nhiều nhiệt từ CPU và GPU hơn các loại chất lỏng khác.

Supermicro AI Product Lines

Supermicro thiết kế và cung cấp một loạt các máy chủ với GPU để gia tăng hiệu suất AI và HPC. Hệ thống phát triển AI của Supermicro lý tưởng cho việc phát triển ứng dụng với quy mô 4 GPU, và Supermicro thiết kế và sản xuất một loạt các máy chủ GPU để triển khai. Khi một ứng dụng sẵn sàng để triển khai, các giải pháp quy mô rack được yêu cầu. Với các máy chủ chứa tới 8 GPU và khi được kết nối với nhau qua mạng, hiệu suất có thể đạt được nhiều lần trong giai đoạn triển khai.

Dòng sản phẩm AI của Supermicro bao gồm các máy chủ có kích thước 1U, 2U, 4U, 6U và 8U. Sử dụng các loại GPU từ các nhà cung cấp hàng đầu và với cấu trúc PCIe, SXM hoặc OAM, tới 10 GPU có thể được lắp vào một máy chủ duy nhất.

Tóm lại, Supermicro SYS-751GE-TNRT-NV1 là một siêu máy tính phát triển và thực thi AI. Hệ thống này, được đặt trong môi trường văn phòng hoặc gia đình, cung cấp cho người dùng hơn 2 Petaflops hiệu suất AI. Xây dựng với bộ vi xử lý Intel Xeon Scalable thế hệ thứ 4 mới nhất và GPU NVIDIA hiệu năng cao, hệ thống phát triển AI siêu êm ái này cung cấp hiệu năng cần thiết cho các nhà khoa học dữ liệu, kỹ sư phân tích và những người khác để sử dụng AI cho bất kỳ tải công việc nào. Hơn nữa, với hệ thống làm mát bằng chất lỏng, hệ thống cho phép sử dụng CPU và GPU hiệu suất cao mà không gây ra mức độ tiếng ồn thông thường.