Các NVIDIA Nền tảng robot của Isaac đang khai thác AI thế hệ mới nhất và các công nghệ mô phỏng tiên tiến để tăng tốc chế tạo robot hỗ trợ AI.
Tại GTC 2024NVIDIA đã công bố Isaac Manipulator và Isaac Perceptor – một tập hợp các mô hình nền tảng, công cụ robot và thư viện tăng tốc GPU.
Trong bài phát biểu quan trọng hôm thứ Hai, người sáng lập và Giám đốc điều hành NVIDIA Jensen Huang đã trình diễn Project GR00T, một mô hình nền tảng đa năng cho hình người học robot. Project GR00T sử dụng nhiều công cụ mới khác nhau từ nền tảng robot NVIDIA Isaac để tạo ra AI cho robot hình người.
Huang cho biết: “Xây dựng mô hình nền tảng cho robot hình người nói chung là một trong những vấn đề thú vị nhất cần giải quyết trong AI hiện nay”. “Các công nghệ hỗ trợ đang kết hợp với nhau để các nhà chế tạo robot hàng đầu trên thế giới có được những bước nhảy vọt lớn đối với chế tạo robot nhân tạo nói chung.”
NVIDIA cũng công bố một máy tính mới dành cho robot hình người dựa trên hệ thống trên chip (SoC) NVIDIA Thor và các công cụ mới dành cho robot hình người. Nền tảng robot NVIDIA Isaac, bao gồm Isaac Lab để robot học tập và NVIDIA OSMO để điều phối quy trình làm việc trên đám mây lai. Cả hai công cụ này đều đóng vai trò quan trọng trong việc phát triển Dự án GR00T và các mô hình nền tảng cho robot.
Bộ điều khiển Isaac cho cánh tay robot
NVIDIA Isaac Manipulator cung cấp một bộ sưu tập các khả năng AI mô-đun và tạo chuyển động tiên tiến nhất cho cánh tay robotvới bộ sưu tập mạnh mẽ các mô hình nền tảng và thư viện được tăng tốc GPU.
Các nhà phát triển robot có thể sử dụng kết hợp các thành phần phần mềm được tùy chỉnh cho các tác vụ cụ thể để nhận biết và tương tác với môi trường xung quanh, cho phép xây dựng quy trình làm việc có thể mở rộng và lặp lại cho các tác vụ thao tác động bằng cách tăng tốc đào tạo mô hình AI và lập trình tác vụ.
Deepu Talla, phó chủ tịch phụ trách robot và điện toán ranh giới tại NVIDIA cho biết: “Việc kết hợp các công cụ mới để tạo mô hình nền tảng vào nền tảng Isaac sẽ đẩy nhanh quá trình phát triển các robot thông minh hơn, linh hoạt hơn, có thể được khái quát hóa để thực hiện nhiều nhiệm vụ”.
Các công ty robot hàng đầu YaskawaSolomon, PickNik Robotics, READY Robotics, Franka Robotics và Robot phổ thôngmột công ty Teradyne, đang hợp tác với NVIDIA để đưa Isaac Manipulator đến với khách hàng của họ.
Masahiro Ogawa, Chủ tịch Yaskawa cho biết: “Bằng cách đưa các công cụ và khả năng AI của NVIDIA vào các giải pháp tự động hóa của Yaskawa, chúng tôi đang vượt qua ranh giới về nơi có thể triển khai robot trong các ngành công nghiệp”. “Điều này sẽ ảnh hưởng đáng kể đến các ngành công nghiệp khác nhau.”
NVIDIA đang giới thiệu các mô hình nền tảng để tăng cường các hệ thống thao tác robot hiện có. Những điều này sẽ giúp phát triển robot có khả năng cảm nhận, thích ứng và lập trình lại cho các môi trường và ứng dụng khác nhau trong sản xuất, xử lý thông minh. nhiệm vụ chọn và đặtchăm sóc và lắp ráp máy với các nội dung sau:
- FoundationPose là mô hình nền tảng để ước tính tư thế 6D và theo dõi các đối tượng chưa từng thấy trước đây.
- cuMotion khai thác khả năng xử lý song song của GPU NVIDIA để giải quyết các vấn đề lập kế hoạch chuyển động của robot ở quy mô công nghiệp bằng cách chạy nhiều tối ưu hóa quỹ đạo cùng lúc để cung cấp giải pháp tốt nhất.
- FoundationGrasp là một mô hình dựa trên máy biến áp có thể đưa ra những dự đoán chi tiết về các vật thể 3D chưa xác định.
- SyntheticaDETR là một mô hình phát hiện đối tượng dành cho môi trường trong nhà, cho phép phát hiện, kết xuất và huấn luyện nhanh hơn với các đối tượng mới.
Isaac Perceptor cho AMR và AI trực quan
Các hoạt động sản xuất và thực hiện đang áp dụng robot di động tự động (AMR) để nâng cao hiệu quả và an toàn cho người lao động cũng như giảm tỷ lệ lỗi và chi phí.
Cảm nhận của Isaac cung cấp nhiều camerakhả năng quan sát 360 độ, cung cấp cho các đối tác sớm trong ngành chẳng hạn như ArcBestBYD và KION Group AI trực quan tiên tiến cho việc cài đặt AMR của họ nhằm hỗ trợ các hoạt động xử lý vật liệu.
NVIDIA Nova Orin DevKit – được tạo ra với sự cộng tác của Segway Robotics và Leopard Imaging – cho phép các công ty nhanh chóng phát triển, đánh giá và triển khai Isaac Perceptor.
Michael Newcity, giám đốc đổi mới của ArcBest và chủ tịch của ArcBest Technologies cho biết: “ArcBest đang hợp tác với NVIDIA để đưa công nghệ thị giác máy tiên tiến nhất vào lĩnh vực Logistics. “Việc sử dụng nền tảng Isaac Perceptor trong xe nâng Vaux Smart Autonomy AMR và xe nâng tầm cao của chúng tôi cho phép nhận thức tốt hơn, điều hướng nhận biết ngữ nghĩa và lập bản đồ 3D để phát hiện chướng ngại vật trong quy trình xử lý vật liệu trên khắp các nhà kho, trung tâm phân phối và cơ sở sản xuất.”
Dự án GR00T phát triển robot hình người
Cũng được trình diễn tại GTC 2024, rô-bốt hình người được hỗ trợ GR00T có thể thực hiện các hướng dẫn đa phương thức – văn bản, video và minh họa – cũng như các tương tác trước đó của chúng để tạo ra hành động mong muốn cho rô-bốt. GR00T đã được hiển thị trên bốn robot hình người của các công ty khác nhau, bao gồm Robot nhanh nhẹnApptronik, Trí tuệ Fourier và Robot Unitree.
Robot hình người là các hệ thống phức tạp yêu cầu khả năng tính toán không đồng nhất để đáp ứng nhu cầu điều khiển tần số cao ở mức độ thấp, phản ứng tổng hợp và nhận thức cảm biến, lập kế hoạch nhiệm vụ và tương tác giữa con người với robot. NVIDIA ra mắt Jetson mới Máy tính dựa trên Thor dành cho robot hình người, được xây dựng trên NVIDIA Thor SoC.
Jetson Thor bao gồm GPU thế hệ tiếp theo dựa trên kiến trúc NVIDIA Blackwell với công cụ biến áp cung cấp 800 teraflop hiệu suất AI dấu phẩy động 8 bit để chạy các mô hình AI tạo đa phương thức như GR00T. Với bộ xử lý an toàn chức năng tích hợp, cụm CPU hiệu suất cao và băng thông ethernet 100GB, nó đơn giản hóa đáng kể các nỗ lực thiết kế và tích hợp.
Dự án GR00T sử dụng công cụ Isaac có sẵn cho các nhà phát triển robot để xây dựng và thử nghiệm các mô hình nền tảng. Chúng bao gồm Isaac Lab, một ứng dụng mô phỏng nhẹ mới được tích hợp trong Isaac Sim để huấn luyện mô hình robot hình người này trên quy mô lớn và OSMO, một nền tảng điều phối quy trình làm việc trên đám mây để quản lý khối lượng công việc đào tạo và mô phỏng.
Phòng thí nghiệm Isaac và robot học tập
Những robot yêu cầu kỹ năng vận động nâng cao, dù là đi hay cầm nắm, đều cần sử dụng kỹ năng sâu học tập tăng cường trong môi trường mô phỏng và được đào tạo nhiều lần trong môi trường ảo để học hỏi kỹ năng. Tuy nhiên, tiện ích này trở nên hữu ích hơn khi mô hình chuyển sang triển khai robot thực, điều này đã được chứng minh bằng Project GR00T.
Là người kế nhiệm của Isaac Gym, Isaac Lab được hưởng lợi từ Công nghệ NVIDIA Omniverse cho các nhiệm vụ học tập củng cố dựa trên nhận thức, quang học, dựa trên thông tin vật lý. Isaac Lab là một ứng dụng mã nguồn mở, được tối ưu hóa hiệu suất để robot học tập được xây dựng trên nền tảng Isaac Sim. Nó kết hợp các API học tập tăng cường và khung tác vụ thân thiện với nhà phát triển.
Lập kế hoạch quy trình làm việc của robot trên nền tảng đám mây với NVIDIA OSMO
NVIDIA OSMO mở rộng khối lượng công việc trên các môi trường phân tán. Đối với khối lượng công việc chế tạo robot có quy trình làm việc nhiều giai đoạn và nhiều vùng chứa phức tạp, nền tảng này cung cấp tùy chọn triển khai không phụ thuộc vào vị trí cũng như các tính năng truy xuất nguồn gốc và quản lý tập dữ liệu cho các mô hình đã triển khai.
Pat Marion, trưởng nhóm nhận thức và học máy tại cho biết: “Boston Dynamics sử dụng một loạt công nghệ học máy, học tăng cường và AI để cung cấp năng lượng cho rô-bốt của chúng tôi”. Động lực học Boston. “Để quản lý hiệu quả khối lượng công việc đào tạo lớn, chúng tôi đang sử dụng NVIDIA OSMO, một giải pháp cơ sở hạ tầng cho phép các kỹ sư Machine Learning của chúng tôi hợp lý hóa quy trình làm việc của họ và cống hiến kiến thức chuyên môn của họ để giải quyết các vấn đề khó về robot.”
OSMO hỗ trợ GR00T, chẳng hạn, bằng cách chạy đồng thời các mô hình trên NVIDIA DGX để đào tạo và máy chủ NVIDIA OVX để học tăng cường trực tiếp trong mô phỏng. Khối lượng công việc này bao gồm việc tạo và đào tạo các mô hình lặp đi lặp lại trong một vòng lặp. Khả năng quản lý và lên lịch khối lượng công việc của OSMO trên các môi trường phân tán cho phép phối hợp liền mạch giữa các hệ thống DGX và OVX, cho phép phát triển mô hình lặp lại và hiệu quả. Sau khi mô hình đã sẵn sàng để thử nghiệm và xác thực, OSMO có thể điều phối duy nhất các quy trình công việc phần mềm trong vòng lặp trên OVX (x86-64) cũng như các quy trình làm việc phần cứng trong vòng lặp với tài nguyên điện toán NVIDIA Jetson (aarch64).
Hỗ trợ Hệ sinh thái ROS dành cho nhà phát triển
NVIDIA gia nhập Liên minh Robot mã nguồn mở (OSRA) với tư cách là thành viên sáng lập và nhà tài trợ bạch kim. OSRA là một sáng kiến mới của Tổ chức Robot mã nguồn mở nhằm thúc đẩy sự hợp tác, đổi mới và hướng dẫn kỹ thuật trong cộng đồng chế tạo robot bằng cách hỗ trợ một số dự án robot nguồn mở, bao gồm Hệ điều hành Robot (ROS).
Vanessa Yamzon Orsi, Giám đốc điều hành của Open Robotics cho biết: “Khả năng ngày càng tăng của robot tự động đang thúc đẩy nhu cầu về điện toán tích hợp mạnh mẽ hơn nhưng vẫn tiết kiệm năng lượng”. “Cộng đồng ROS đang trực tiếp trải nghiệm nhu cầu này và người dùng của chúng tôi đang ngày càng tận dụng phần cứng máy tính tăng tốc tiên tiến từ các công ty hàng đầu trong ngành như NVIDIA.”
NVIDIA Isaac Perceptor với bộ đánh giá Nova Orin, Isaac Manipulator, Isaac Lab và OSMO sẽ được cung cấp cho khách hàng vào quý 2 năm nay.
Nguồn : https://www.robotics247.com/article/gtc_2024_nvidia_isaac_taps_generative_ai_for_manufacturing_logistics_applications/mobile_robots .