Mở rộng hệ sinh thái mô hình mở, NVIDIA hôm nay công bố các mô hình, dữ liệu và công cụ mới nhằm thúc đẩy AI trong mọi ngành công nghiệp.
Các mô hình này — bao gồm dòng NVIDIA Nemotron dành cho AI tác nhân, nền tảng NVIDIA Cosmos cho AI thể chất, bộ sưu tập mới NVIDIA Alpamayo cho phát triển xe tự hành, NVIDIA Isaac GR00T cho robot và NVIDIA Clara cho lĩnh vực y sinh — sẽ cung cấp cho doanh nghiệp các công cụ để phát triển hệ thống AI ứng dụng thực tiễn.
NVIDIA đóng góp các framework đào tạo mã nguồn mở cùng kho dữ liệu đa dạng hàng đầu thế giới, bao gồm 10 nghìn tỷ token ngôn ngữ, 500.000 quỹ đạo robot, 455.000 cấu trúc protein và 100 terabyte dữ liệu cảm biến phương tiện. Đây là quy mô chưa từng có về tài nguyên mở đa dạng, giúp tăng tốc đổi mới trong ngôn ngữ, robot, nghiên cứu khoa học và phương tiện tự hành.
Các công ty công nghệ hàng đầu — trong đó có Bosch, CodeRabbit, CrowdStrike, Cohesity, Fortinet, Franka Robotics, Humanoid, Palantir, Salesforce, ServiceNow, Hitachi và Uber — đang ứng dụng và xây dựng trên nền tảng công nghệ mô hình mở của NVIDIA.
NVIDIA Nemotron: Kết hợp Nhận diện giọng nói, Trí tuệ đa phương tiện và An toàn cho tác nhân AI
NVIDIA Nemotron 3 mới ra mắt, NVIDIA giới thiệu các mô hình Nemotron dành cho nhận diện giọng nói, tạo sinh đa phương tiện có hỗ trợ truy xuất thông tin (RAG) và an toàn.
- Nemotron Speech bao gồm các mô hình mã nguồn mở dẫn đầu bảng xếp hạng, trong đó có mô hình ASR mới cung cấp nhận diện giọng nói thời gian thực với độ trễ thấp, phù hợp cho phụ đề trực tiếp và ứng dụng AI giọng nói. Các benchmark của Daily và Modal chứng minh mô hình có hiệu năng nhanh hơn gấp 10 lần so với các mô hình cùng phân khúc.
- Nemotron RAG bao gồm các mô hình ngôn ngữ-thị giác (VLM) embed và rerank mới, cung cấp khả năng phân tích dữ liệu đa ngôn ngữ, đa phương tiện chính xác cao, nâng cao tìm kiếm tài liệu và truy xuất thông tin.
- Các mô hình Nemotron Safety tăng cường sự an toàn và độ tin cậy cho ứng dụng AI, hiện bao gồm mô hình Llama Nemotron Content Safety với khả năng hỗ trợ ngôn ngữ mở rộng, cùng Nemotron PII dùng để phát hiện dữ liệu nhạy cảm với độ chính xác cao.
Bosch ứng dụng Nemotron Speech giúp người lái tương tác với xe. ServiceNow đào tạo bộ mô hình Apriel dựa trên các dataset mở, trong đó có Nemotron để tối ưu chi phí và hiệu suất đa phương tiện.
Cadence và IBM thực nghiệm mô hình NVIDIA Nemotron RAG để cải thiện tìm kiếm và suy luận qua tài liệu kỹ thuật phức tạp.
CrowdStrike, Cohesity và Fortinet áp dụng mô hình Nemotron Safety để nâng cao độ tin cậy của các ứng dụng AI.
Palantir tích hợp các mô hình Nemotron trong framework Ontology để xây dựng một stack công nghệ tích hợp đầu tiên kiểu này dành cho các tác nhân AI chuyên biệt. CodeRabbit đang sử dụng mô hình Nemotron nhằm nâng cao hiệu suất và giảm chi phí trong việc đánh giá mã AI mà vẫn giữ được độ chính xác cao.
NVIDIA còn phát hành dữ liệu mã nguồn mở, tài nguyên đào tạo và các bản thiết kế cho nhà phát triển, bao gồm bộ dữ liệu và mã đào tạo cho mô hình Llama Embed Nemotron 8B, đang dẫn đầu bảng xếp hạng MMTEB. Cùng với đó là bản cập nhật LLM Router giúp tự động điều hướng yêu cầu AI đến mô hình phù hợp nhất, và bộ dữ liệu dùng để xây dựng mô hình Nemotron Speech ASR mới.
Mô hình mới cho mọi dạng AI thể chất và robot
Phát triển AI thể chất cho robot và hệ thống tự động đòi hỏi dữ liệu đa dạng và mô hình có khả năng nhận thức, suy luận và hành động trong môi trường phức tạp, thực tế. Trên Hugging Face, robotics là lĩnh vực tăng trưởng nhanh nhất, với mô hình và dữ liệu robot mã nguồn mở của NVIDIA dẫn đầu lượt tải.
NVIDIA phát hành mô hình nền tảng thế giới mở NVIDIA Cosmos với khả năng suy luận và phóng tác thế giới như con người, giúp tăng tốc phát triển và đánh giá AI thể chất.
NVIDIA cũng công bố các mô hình và bản thiết kế mã nguồn mở cho từng hiện thân AI thể chất, dựa trên Cosmos:
- Isaac GR00T N1.6 là mô hình hành động ngôn ngữ thị giác suy luận (VLA) mã nguồn mở, thiết kế dành riêng cho robot hình người, mở ra khả năng kiểm soát toàn bộ cơ thể và sử dụng NVIDIA Cosmos Reason để cải thiện khả năng suy luận và hiểu ngữ cảnh.
- Bản thiết kế NVIDIA cho tìm kiếm và tóm tắt video, thuộc nền tảng NVIDIA Metropolis, cung cấp quy trình tham chiếu để xây dựng các tác nhân AI thị giác có thể phân tích lượng lớn video ghi lại và phát sóng trực tiếp nhằm nâng cao hiệu quả vận hành và an toàn công cộng.
Salesforce, Milestone, Hitachi, Uber, VAST Data và Encord đang sử dụng Cosmos Reason cho các tác nhân AI giao thông và tăng năng suất nơi làm việc. Franka Robotics, Humanoid và NEURA Robotics áp dụng Isaac GR00T để mô phỏng, đào tạo và kiểm chứng hành vi mới cho robot trước khi đưa vào sản xuất quy mô lớn.
NVIDIA Alpamayo dành cho Xe tự hành Dựa trên Suy luận
Phát triển phương tiện tự hành an toàn, có khả năng mở rộng phụ thuộc vào AI có thể nhận thức, suy luận và hành động trong môi trường và tình huống thực tế phức tạp, cùng quy trình phát triển hỗ trợ đào tạo, kiểm thử và cải tiến nhanh ở quy mô lớn.
NVIDIA công bố NVIDIA Alpamayo, bộ sưu tập mô hình mở, công cụ mô phỏng và dữ liệu lớn mới nhằm thúc đẩy phát triển xe tự hành dựa trên suy luận, gồm:
- Alpamayo 1, mô hình VLA suy luận quy mô lớn đầu tiên mã nguồn mở dành cho xe tự hành (AV), giúp phương tiện hiểu rõ môi trường xung quanh đồng thời giải thích được hành động của mình.
- AlpaSim, framework mô phỏng mã nguồn mở cho phép đào tạo và đánh giá khép kín mô hình AV dựa trên suy luận trong đa dạng bối cảnh và các trường hợp hiếm gặp.
NVIDIA cũng cung cấp bộ dữ liệu mở Physical AI với hơn 1.700 giờ dữ liệu lái thu thập tại nhiều địa lý và điều kiện đa dạng, bao gồm các trường hợp đặc biệt hiếm và phức tạp trong thực tế, rất cần thiết cho phát triển kiến trúc suy luận.
NVIDIA Clara cho Y tế và Khoa học sự sống
Để giảm chi phí và tăng tốc cung cấp điều trị, NVIDIA ra mắt các mô hình Clara AI mới nhằm thu hẹp khoảng cách giữa khám phá kỹ thuật số và y học thực tế.
Hỗ trợ các nhà nghiên cứu thiết kế liệu pháp an toàn hơn, hiệu quả hơn và dễ gia công hơn, các mô hình bao gồm:
- La-Proteina giúp thiết kế các protein quy mô lớn với độ chính xác nguyên tử phục vụ nghiên cứu và phát triển ứng viên thuốc, mở ra công cụ mới để nghiên cứu các bệnh từng được xem là không thể chữa trị.
- ReaSyn v2 đảm bảo thuốc do AI thiết kế có thể tổng hợp thực tế bằng cách tích hợp bản thiết kế sản xuất vào quá trình khám phá.
- KERMT cung cấp kiểm tra an toàn tính toán với độ chính xác cao ngay từ đầu phát triển bằng cách dự đoán tương tác của thuốc với cơ thể người.
- RNAPro mở khóa tiềm năng y học cá thể hóa qua dự đoán hình dạng 3D phức tạp của các phân tử RNA.
Bên cạnh đó, bộ dữ liệu 455.000 cấu trúc protein tổng hợp của NVIDIA hỗ trợ các nhà nghiên cứu AI xây dựng mô hình chính xác hơn.
Bắt đầu với Mô hình và Công nghệ Mở của NVIDIA
Mô hình, dữ liệu và framework mở của NVIDIA hiện đã có trên GitHub, Hugging Face và nhiều nền tảng đám mây, hạ tầng AI, cũng như tại build.nvidia.com, mang đến cho nhà phát triển nhiều lựa chọn linh hoạt về nguồn lực hỗ trợ.
Nhiều mô hình còn được cung cấp dưới dạng dịch vụ vi mô NVIDIA NIM, giúp triển khai bảo mật, mở rộng trên bất kỳ hệ hạ tầng tăng tốc NVIDIA nào, từ thiết bị biên đến đám mây.
Tìm hiểu thêm qua NVIDIA Live tại CES.