8 yêu cầu về lưu trữ cho Trí tuệ nhân tạo (AI) và Học sâu (Deep Learning)
Th8
Dữ liệu là nguồn gốc của Trí tuệ Nhân tạo và Học sâu (AI và Deep Learning). Khối lượng dữ liệu đào tạo lớn giúp nâng cao độ chính xác trong việc tìm kiếm các mối quan hệ có khả năng dự đoán.
Dưới đây là tám yêu cầu lưu trữ đặc thù của các ứng dụng AI và DL(Deep Learning) và lý do tại sao chúng yêu cầu khả năng quản lý dữ liệu được cung cấp bởi các giải pháp lưu trữ đối tượng cấp doanh nghiệp như Cloudian Object Storage.
- Khả năng mở rộng
Các hệ thống Trí tuệ Nhân tạo có thể xử lý một lượng lớn dữ liệu trong một khung thời gian ngắn — một đặc điểm thiết yếu vì cần có các bộ dữ liệu lớn để cung cấp các thuật toán chính xác. Khối lượng dữ liệu này thúc đẩy nhu cầu lưu trữ đáng kể. Ví dụ, Microsoft yêu cầu dữ liệu giọng nói liên tục trong 5 năm để dạy máy tính nói chuyện. Tesla đang dạy ô tô tự lái với lượng dữ liệu lái xe tương đương 1,3 tỷ dặm. Việc quản lý các tập dữ liệu này yêu cầu một hệ thống lưu trữ có thể mở rộng không giới hạn.
Object Storage có thể giúp gì?
Lưu trữ đối tượng là kiểu lưu trữ duy nhất có quy mô vô hạn trong một namespace duy nhất. Thêm vào đó, thiết kế kiểu module cho phép bổ sung dung lượng bất cứ lúc nào. Bạn có thể mở rộng quy mô theo nhu cầu, thay vì phải trang bị trước nhu cầu.
- Hiệu quả về chi phí
Một hệ thống lưu trữ hữu ích phải có khả năng mở rộng và giá cả hợp lý, hai yếu tố không phải lúc nào cũng tồn tại trong hệ thống lưu trữ doanh nghiệp. Trong lịch sử, các hệ thống có khả năng mở rộng cao thường đắt hơn tính theo chi phí/dung lượng. Các bộ dữ liệu AI lớn sẽ không khả thi nếu chúng phá vỡ ngân sách lưu trữ.
Object Storage có thể giúp gì?
Lưu trữ đối tượng được xây dựng trên nền tảng phần cứng có chi phí thấp nhất trong ngành. Kết hợp điều đó với chi phí quản lý thấp và các tính năng nén dữ liệu tiết kiệm không gian, và kết quả là chi phí thấp hơn 70% so với lưu trữ doanh nghiệp theo ổ đĩa truyền thống.
- Nhiều tùy chọn lưu trữ xác định bằng phần mềm
Các tập dữ liệu lớn đôi khi sẽ yêu cầu các trung tâm dữ liệu dạng hyperscale với các kiến trúc máy chủ được xây dựng có mục đích rõ ràng. Các triển khai khác có thể được hưởng lợi từ sự đơn giản của các appliance được cấu hình trước.
Object Storage có thể giúp gì?
Lưu trữ đối tượng giữ cho các tùy chọn triển khai của bạn luôn mở, với sự lựa chọn của bạn về các thiết bị lưu trữ hoặc lưu trữ do phần mềm xác định (software-defined storage).
- Kiến trúc kiểu Hybrid
Các loại dữ liệu khác nhau có các yêu cầu hiệu suất khác nhau và phần cứng phải phản ánh điều đó. Các hệ thống phải bao gồm sự kết hợp phù hợp của các công nghệ lưu trữ để đáp ứng nhu cầu đồng thời về quy mô và hiệu suất, thay vì một cách tiếp cận đồng nhất sẽ dẫn đến hao hụt.
Object Storage có thể giúp gì?
Lưu trữ đối tượng sử dụng kiến trúc kết hợp/hybrid, với ổ đĩa quay cho dữ liệu người dùng và ổ SSD cho metadata có độ nhạy cảm cao về hiệu suất, do đó tối ưu hóa chi phí và hiệu suất.
- Kiến trúc song song
Đối với các tập dữ liệu phát triển không có giới hạn, kiến trúc truy cập song song (parallel-access architecture) là điều cần thiết. Nếu không, hệ thống sẽ phát triển các điểm nghẹt gây hạn chế sự tăng trưởng.
Object Storage có thể giúp gì?
Lưu trữ đối tượng sử dụng kiến trúc cụm “shared-nothing”, nghĩa là tất cả các phần của hệ thống hoạt động song song. Thông lượng dữ liệu tăng liên tục khi hệ thống được mở rộng.
- Tính bền vững của dữ liệu
Sao lưu tập dữ liệu đào tạo nhiều petabyte không phải lúc nào cũng khả thi; nó thường tốn kém thời gian và chi phí. Nhưng bạn cũng không thể để nó không được bảo vệ. Thay vào đó, hệ thống lưu trữ cần phải tự bảo vệ.
Object Storage có thể giúp gì?
Lưu trữ đối tượng được thiết kế với tính năng dự phòng được tích hợp sẵn, do đó dữ liệu được bảo vệ mà không yêu cầu quá trình sao lưu riêng biệt. Hơn nữa, bạn có thể chọn mức độ bảo vệ dữ liệu cần thiết cho từng loại dữ liệu để tối ưu hóa hiệu quả. Hệ thống có thể được cấu hình để chịu được lỗi ở nhiều node hoặc thậm chí mất toàn bộ trung tâm dữ liệu.
- Tính tại chỗ của dữ liệu
Trong khi một số dữ liệu AI / DL sẽ nằm trêm đám mây, phần lớn dữ liệu sẽ vẫn nằm trong trung tâm dữ liệu vì nhiều lý do: hiệu suất, chi phí và tính tuân thủ quy định là ba trong số đó. Để cạnh tranh, lưu trữ tại chỗ phải mang lại lợi ích về chi phí và khả năng mở rộng tương tự như các dịch vụ đám mây tương ứng.
Object Storage có thể giúp gì?
Lưu trữ đối tượng là loại lưu trữ cho các đám mây. Trên thực tế, nền tảng lưu trữ đối tượng như Cloudian cung cấp các giải pháp lưu trữ đối tượng cho nhiều nhà cung cấp đám mây để sử dụng làm hạ tầng public cloud. Khả năng mở rộng và tính kinh tế của lưu trữ đám mây bây giờ đã có sẵn cho bạn ngay tại chỗ.
- Tích hợp đám mây
Bất kể dữ liệu cư trú ở đâu, tích hợp với public cloud vẫn sẽ là một yêu cầu quan trọng vì hai lý do. Đầu tiên, phần lớn sự đổi mới ở AI và DL đang diễn ra trên đám mây. Các hệ thống tại chỗ được tích hợp đám mây sẽ mang lại sự linh hoạt cao nhất để tận dụng các công cụ thiết kế cho cloud hay cloud-native. Thứ hai, chúng ta có thể thấy một luồng dữ liệu linh hoạt đi đến / từ đám mây khi thông tin được tạo ra và phân tích. Một giải pháp tại chỗ cần đơn giản hóa quy trình đó và không giới hạn nó.
Object Storage có thể giúp gì?
Cloudian Object Storage được tích hợp vào đám mây theo ba cách. Đầu tiên, nó sử dụng API S3, ngôn ngữ tiêu chuẩn và có tầm ảnh hưởng nhất của lưu trữ đám mây. Thứ hai, nó tạo điều kiện phân cấp cho các đám mây công cộng như Amazon, Google và Microsoft, đồng thời cho phép bạn nhìn dữ liệu cục bộ và trên đám mây trong một namespace duy nhất. Thứ ba, dữ liệu được lưu trữ lên đám mây từ Cloudian có thể truy cập trực tiếp bằng các ứng dụng dựa trên đám mây. Cách truy cập hai chiều này cho phép bạn sử dụng cả tài nguyên đám mây và tài nguyên tại chỗ thay thế cho nhau.