Phân tích AI nhiên liệu PoC ở rìa

Khi AI, công nghệ cảm biến và đổi mới mạng tiếp tục tăng tốc, việc sử dụng phân tích AI để đánh giá và phân loại đầu vào ở rìa mạng sẽ rất quan trọng, đặc biệt là khi nguồn dữ liệu mở rộng gần như hàng ngày.

Việc sử dụng phân tích AI trên quy mô lớn có thể chậm và phức tạp, đồng thời đi kèm với chi phí bảo trì và bảo trì phần mềm cao hơn để tích hợp các mô hình AI mới và phần cứng bổ sung. Với khả năng điện toán biên đang nổi lên ở những địa điểm xa hơn, phân tích AI có thể được đặt gần các cảm biến hơn, giảm độ trễ và tăng băng thông.

Mũ đỏ Và NTTphối hợp với NVIDIA và Fujitsu, đã cùng phát triển một giải pháp nhằm nâng cao và mở rộng tiềm năng phân tích dữ liệu trí tuệ nhân tạo (AI) thời gian thực ở biên.

Được xây dựng trên nền tảng của Red Hat OpenShift, giải pháp đã nhận được Diễn đàn toàn cầu về mạng quang và không dây đổi mới (IOWN)Sự công nhận Bằng chứng Khái niệm (PoC) của nó về khả năng tồn tại và các trường hợp sử dụng trong thế giới thực.

Giải pháp này bao gồm Mạng toàn quang tử IOWN (APN) và các công nghệ tăng tốc đường truyền dữ liệu trong Cơ sở hạ tầng lấy dữ liệu làm trung tâm IOWN (DCI). Đường dẫn dữ liệu được tăng tốc của NTT dành cho AI áp dụng Truy cập bộ nhớ trực tiếp từ xa (RDMA) qua APN để thu thập và xử lý hiệu quả lượng lớn dữ liệu cảm biến ở biên.

Công nghệ điều phối container từ Red Hat OpenShift mang lại sự linh hoạt cao hơn để vận hành khối lượng công việc trong đường ống dữ liệu được tăng tốc trên các trung tâm dữ liệu từ xa và phân bổ theo địa lý.

NTT và Red Hat đã chứng minh thành công rằng giải pháp này có thể giảm mức tiêu thụ điện năng một cách hiệu quả trong khi vẫn duy trì độ trễ thấp hơn để phân tích AI theo thời gian thực ở biên.

Cung cấp PoC

Bằng chứng về khái niệm đã đánh giá nền tảng phân tích AI thời gian thực với Thành phố Yokosuka làm cơ sở lắp đặt cảm biến và Thành phố Musashino làm trung tâm dữ liệu từ xa, cả hai đều được kết nối qua APN. Kết quả là, ngay cả khi bố trí nhiều camera, độ trễ cần thiết để tổng hợp dữ liệu cảm biến để phân tích AI đã giảm 60% so với khối lượng công việc suy luận AI thông thường.

Thử nghiệm IOWN PoC cũng chứng minh rằng mức tiêu thụ điện năng cần thiết để phân tích AI cho mỗi camera ở biên có thể giảm 40% so với công nghệ thông thường. Nền tảng phân tích AI thời gian thực này cho phép mở rộng quy mô GPU để chứa số lượng camera lớn hơn mà CPU không bị tắc nghẽn.

Theo tính toán thử nghiệm, giả sử có thể chứa được 1.000 camera thì dự kiến ​​mức tiêu thụ điện năng có thể giảm thêm 60%. Điểm nổi bật của bằng chứng về khái niệm cho giải pháp này như sau:

• Đường truyền dữ liệu được tăng tốc cho suy luận AI, do NTT cung cấp, sử dụng RDMA qua APN để tìm nạp trực tiếp dữ liệu cảm biến quy mô lớn từ các trang cục bộ đến bộ nhớ trong bộ tăng tốc ở trung tâm dữ liệu từ xa, giảm chi phí xử lý giao thức trong mạng thông thường. Sau đó, nó hoàn thành quá trình xử lý dữ liệu suy luận AI trong bộ tăng tốc với ít chi phí kiểm soát CPU hơn, cải thiện hiệu quả sử dụng năng lượng trong suy luận AI.
• Phân tích dữ liệu AI quy mô lớn trong thời gian thực, được hỗ trợ bởi Red Hat OpenShift, có thể hỗ trợ các nhà khai thác Kubernetes5 để giảm thiểu sự phức tạp của việc triển khai các bộ tăng tốc dựa trên phần cứng (GPU, DPU, v.v.), cho phép cải thiện tính linh hoạt và triển khai dễ dàng hơn trên các site được phân tách, bao gồm cả các trung tâm dữ liệu từ xa.
• PoC này sử dụng GPU NVIDIA A100 Tensor Core và NIC NVIDIA ConnectX-6 để suy luận AI.
• Giải pháp này giúp tạo tiền đề cho các công nghệ thông minh hỗ trợ AI sẽ giúp doanh nghiệp mở rộng quy mô một cách bền vững. Với giải pháp này, các tổ chức có thể được hưởng lợi từ:
• Giảm chi phí liên quan đến việc thu thập lượng lớn dữ liệu;
• Thu thập dữ liệu nâng cao có thể được chia sẻ giữa các khu vực đô thị và trung tâm dữ liệu từ xa để phân tích AI nhanh hơn;
• Khả năng sử dụng năng lượng sẵn có và có khả năng tái tạo tại địa phương, như năng lượng mặt trời hoặc gió;
• Tăng cường quản lý khu vực an ninh với máy quay video đóng vai trò là thiết bị cảm biến.