Thiết bị PowerEdge XE9680 Rack Server

Trí tuệ nhân tạo (AI – Artificial Intelligence), Học máy (ML – Machine Learning) và Học sâu (DL – Deep Learning) là những khái niệm đang ngày càng trở nên phổ biến và là một yếu tố “trendy” trong lĩnh vực công nghệ.

Trong đó, AI (Artificial Intelligence) là một khái niệm chung được biết đến từ những năm 1950, nó ám chỉ tất cả những thiết bị máy móc có khả năng bắt chước được hành vi và suy nghĩ của con người.

ML (Machine Learning) là khái niệm nằm bên trong AI. ML là một trong những cách thức để đạt được AI. Với ML, con người sẽ kết hợp các giải thuật (algorithm) và các mô hình thống kê (statistical model) để giúp các thiết bị máy móc học được từ những dữ liệu có sẵn và những điều đã xảy ra trong quá khứ để tự biết cách xử lý những vấn đề sẽ xảy ra trong tương lai thay vì phải lập trình một cách chính xác cho thiết bị biết phải xử lý như thế nào.

Còn DL (Deep Learning) là một trong nhiều cách để tiếp cận ML bên cạnh các hình thức khác như cây học tập quyết đinh (decision tree learning), lập trình logic quy nạp (inductive logic programming), phân cụm (clustering), học tăng cường (reinforcement learning), v.v… DL phương pháp mô phỏng lại cách thức hoạt động của các tế bào não, thực hiện phân tích suy luận qua nhiều lớp và tương tác qua lại lẫn nhau.

GPUS NVIDIA SỰ ĐỔI MỚI VÀ HIỆU QUẢ CHO TRÍ TUỆ NHÂN TẠO

Trước tiên, hãy bắt đầu bằng việc đề cập đến tình huống nếu bạn muốn huấn luyện các mô hình cơ bản ngày nay, như ChatGPT chẳng hạn, thì NVIDIA H100 80GB SXM5 vẫn là lựa chọn hàng đầu. Khi mô hình cơ bản đã được huấn luyện, việc tùy chỉnh mô hình dựa trên dữ liệu chuyên ngành hoặc thực hiện các công việc dự đoán thường có thể được thực hiện trên các phần vật lý có chi phí và công suất điện tiêu thụ thấp hơn nhiều.

 

Dell Technologies cung cấp nhiều lựa chọn máy chủ được tối ưu hóa khả năng tăng tốc với danh mục máy tăng tốc phong phú có GPUs NVIDIA.

Trong thiết kế này, SSN giới thiệu ba máy chủ Dell PowerEdge được thiết kế riêng cho mục đích sáng tạo AI:

Server AI PowerEdge R760xa, có khả năng hỗ trợ tới bốn GPU NVIDIA H100 hoặc bốn GPU NVIDIA L40.

Server AI PowerEdge XE8640, hỗ trợ 4 GPU NVIDIA H100.

Server AI PowerEdge XE9680, hỗ trợ 8 GPU NVIDIA H100.

	NVIDIA H100 SXM GPU	NVIDIA H100 PCIe GPU	NVIDIA L40 PCIe GPU
Supported latest PowerEdge servers (and maximum number of GPUs)	Server AI PowerEdge XE9680 (8) Server AI PowerEdge XE8640 (4)	Server AI PowerEdge R760xa (4) Server AI PowerEdge R760 (2)	Server AI PowerEdge R760xa (4) Server AI PowerEdge R760 (2)
GPU memory	80 GB	80 GB	48 GB
Form factor	SXM	PCIe (dual width, dual slot)	PCIe (dual width, dual slot)
GPU interconnect	900 GB/s PCIe	600 GB/s NVLink Bridge supported in PowerEdge R760xa 128 GB/s PCIe Gen5	None
Multi-instance GPU support	Up to 7 MIGs	Up to 7 MIGs	None
Decoders	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG	3 NVDEC 3 NVENC
Max thermal design power (TDP)	700 W	350 W	300 W
NVIDIA AI Enterprise	Add-on	Included with H100 PCIe	Add-on
Most applicable use cases	Generative AI training Large scale distributed training	Discriminative/Predictive AI Training and Inference Generative AI Inference	Small scale AI Visual computing Discriminative/Predictive AI Inference

DELL XE9680 SERVER AI

Hệ thống Server AI mạnh mẽ

Server AI Dell PowerEdge XE9680 được thiết kế để giúp các doanh nghiệp tăng tốc hiệu suất AI/ML cung cấp năng lượng cho các khối lượng công việc và ứng dụng phức tạp yêu cầu AI, như lập mô hình HPC và trực quan hóa dữ liệu.

Đây là máy chủ 6U được thiết kế để điều khiển các ứng dụng AI, ML và DL tiên tiến nhất. Được hỗ trợ bởi bộ xử lý Xeon mới nhất của Intel với số lượng lõi cao lên tới 56 lõi cũng như bộ nhớ GPU và băng thông lớn nhất hiện nay, XE9680 được thiết kế cho tương lai của điện toán AI.

 

Khách hàng có thể chọn giữa 8 GPU NVIDIA H100 700W SXM5 để có hiệu suất cực cao hoặc 8 GPU NVIDIA A100 500W SXM4 để cân bằng giữa hiệu suất và sức mạnh và được kết nối hoàn toàn với công nghệ NVIDIA NVLink.

Hiệu suất xử lý được cải thiện với băng thông lên tới 900GB/giây cho giao tiếp GPU-GPU, gấp 1,5 lần so với thế hệ trước.

Tăng tốc thông lượng I/O

Server AI Dell XE9680 triển khai các công nghệ mới nhất như SSD DDR5, NVLink, PCIe Gen 5.0 và NVMe để thúc đẩy ranh giới của luồng dữ liệu và khả năng tính toán.

Máy chủ có tới mười khe cắm PCIe Gen5 mặt trước và tối đa 16 ổ đĩa để cho phép mở rộng cho các hoạt động AI thời gian thực hiệu suất cao.

Dell XE9680 cũng hỗ trợ NVIDIA GDS (GPUDirect Storage), một đường dẫn dữ liệu trực tiếp để truyền DMA giữa bộ nhớ GPU và bộ lưu trữ, tăng băng thông hệ thống, giảm độ trễ và tải sử dụng trên CPU.

Hệ thống được NVIDIA chứng nhận có khả năng tối đa hóa hoạt động với GPU NVIDIA.

Kiến trúc đàn hồi mạng cho Zero Trust

Bảo mật được tích hợp vào mọi giai đoạn của vòng đời PowerEdge, bao gồm chuỗi cung ứng được bảo vệ và đảm bảo tính toàn vẹn từ nhà máy đến địa điểm. Gốc đáng tin cậy dựa trên silicon mang lại khả năng phục hồi khởi động từ đầu đến cuối trong khi Xác thực đa yếu tố (MFA) và kiểm soát truy cập dựa trên vai trò đảm bảo hoạt động đáng tin cậy.

 

Danh mục quản lý hệ thống Dell OpenManage là một giải pháp an toàn, toàn diện cho các máy chủ PowerEdge sẽ đơn giản hóa, tự động hóa và tập trung hóa quản lý một-nhiều với bảng điều khiển OpenManage Enterprise và iDRAC.

THÔNG SỐ KỸ THUẬT

Processor: Two 4th Generation Intel Xeon Scalable processors with up to 56 cores per processor

Memory

• 32 DDR5 DIMM slots, supports RDIMM 4 TB max, speeds up to 4800 MT/s
• Supports registered ECC DDR5 DIMMs only

GPU

• 8 NVIDIA HGX H100 80GB 700W SXM5 GPUs or
• 8 NVIDIA HGX A100 80GB 500W SXM4 GPUs, fully interconnected with NVIDIA NVLink technology

Storage controllers

• Internal boot: Boot Optimized Storage Subsystem (NVMe BOSS-N1): HWRAID 1, 2 x M.2 SSDs
• Software RAID: S160

Drive bays

Front Bays:  Up to 8 x 2.5-inch NVMe SSD drives max 122.88 TB

Power Supplies: 2800W Titanium 200-240 VAC or 240 VDC, hot-swap redundantly

Cooling Options: Air cooling

Chipset: Intel® C741 chipset

PCIe: Up to 10 x16 Gen5 (x16 PCIe) full-height, half-length

Embedded NIC: 2 x 1 GbE

Network Options: 1 x OCP 3.0 (x8 PCIe lanes)

Fans

• Up to 6 High performance (HPR), gold-grade fans were installed in mid tray
• Up to 10 High performance (HPR) gold-grade fans are installed on the rear of the system
• All are hot-swapped fans

Dimensions and weight

• Height — 263.2 mm (10.36 inches)
• Width — 482.0 mm (18.97 inches)
• Depth — 1008.77 mm (39.71 inches) with bezel — 995 mm (39.17 inches) without bezel
• Weight —107 kg (235.89 pounds)
• Form Factor
• 6U rack server

Embedded Management

• iDRAC9
• iDRAC Direct
• iDRAC RESTful API with Redfish
• iDRAC Service Module

Bezel: Optional LCD bezel or security bezel

OpenManage Software

• CloudIQ for PowerEdge plugin
• OpenManage Enterprise
• OpenManage Enterprise Integration for VMware vCenter
• OpenManage Integration for Microsoft System Center
• OpenManage Integration with Windows Admin Center
• OpenManage Power Manager plugin
• OpenManage Service plugin
• OpenManage Update Manager plugin
• OpenManage Integrations
• BMC Truesight
• Microsoft System Center
• OpenManage Integration with ServiceNow
• Red Hat Ansible Modules
• Terraform Providers
• VMware vCenter and vRealize Operations Manager

Security

• Cryptographically signed firmware
• Data at Rest Encryption (SEDs with local or external key mgmt)
• Secure Boot
• Secured Component Verification (Hardware integrity check)
• Secure Erase
• Silicon Root of Trust
• System Lockdown (requires iDRAC9 Enterprise or Datacenter)
• TPM 2.0 FIPS, CC-TCG certified, TPM 2.0 China NationZ

Ports

Front ports

• 1 x iDRAC Direct (Micro-AB USB) port
• 1 x USB 2.0
• 1 x VGA

Rear ports

• 1 x USB 2.0
• 1 x USB 3.0
• 1 x VGA
• 1 x RJ45 iDRAC9 ethernet port

Operating Systems and Hypervisors

Canonical Ubuntu Server LTS

Red Hat Enterprise Linux

KẾT LUẬN

Server AI Dell XE9680 là một lựa chọn tuyệt vời cho các doanh nghiệp có nhu cầu cao về xử lý và quản lý dữ liệu. Với hiệu suất mạnh mẽ và tính linh hoạt, nó cung cấp một nền tảng ổn định và tin cậy để hỗ trợ các hoạt động kinh doanh của bạn.