NVIDIA, Yapay Zeka Ajanları ve Omniverse ile Simülasyon Geliştirme Süreçlerini Nasıl Dönüştürüyor?

Yapay zeka modellerinin yazılım geliştirme ve mühendislik süreçlerindeki rolü hızla evrilirken, NVIDIA tarafından paylaşılan yeni örnekler yapay zeka ajanlarının simülasyon dünyasında çığır açtığını gösteriyor. Bir simülasyon fikrini çalışan bir uygulamaya dönüştürmek; varlıkların bir araya getirilmesini, fizik ve işleme motorlarının birbirine bağlanmasını ve sahnenin beklendiği gibi davranıp davranmadığının test edilmesini gerektiriyor. Geliştiriciler artık bu karmaşık iş akışını hızlandırmak için GPT-6 Astra gibi öncü yapay zeka modellerini NVIDIA Omniverse kütüphaneleriyle entegre ediyor.

NVIDIA'nın ekosistemindeki farklı ekiplerin yürüttüğü çalışmalar, doğal dil talimatlarıyla yönlendirilen yapay zeka ajanlarının simülasyon senaryolarını nasıl optimize ettiğini somut örneklerle gözler önüne seriyor.

Depo Ortamları ve İnsansı Robot Simülasyonları

Depo otomasyon görevlerini otomatikleştirmeden önce geliştiricilerin, görev davranışlarını keşfetmek ve işin nasıl yürütüldüğünü değerlendirmek için interaktif bir simülasyon ortamına ihtiyacı bulunuyor. NVIDIA'da Omniverse ürün yöneticisi olarak görev yapan Frank DeLise, Astra'yı kullanarak SimReady formatındaki bir depo alanını ve bir insansı robotu birinci ve üçüncü şahıs kamera açılarına sahip interaktif bir simülatöre dönüştürdü.

DeLise; Astra'ya fizik (ovphysx), sahne güncellemeleri (ovstage), işleme (ovrtx) ve kullanıcı arayüzü (ovui) için NVIDIA Omniverse kütüphanelerini bağlaması talimatını verdi. Aynı zamanda fiziksel sahneyi simülasyonda oluşturmak için Astra'yı SimReady varlıklarıyla birlikte kullanan geliştirici, ajan aracılığıyla tüm bu yetenekleri bir araya getiren animasyon ve uygulama kodu üretti.

Otonom Sürüş Testleri ve Dijital İkizler

Otonom araç simülasyonlarında bir sahnede, sensörde veya sürüş modelinde yapılan değişiklikler sonuçları büyük ölçüde etkileyebiliyor. NVIDIA simülasyon teknolojisi ekibinden Doyub Kim, Astra'dan San Francisco'nun Market Street bölgesini temel alan yeniden kullanılabilir bir simülasyon ortamı olan Zero to Alpamayo'yu kurmasını istedi. Kim, iş akışını haritalandıran ajanın varlık oluşturma, trafik, Omniverse RTX sensör simülasyonu ve Alpamayo sürüş modüllerini aşamalı olarak bağlamasını sağladı.

Oluşturulan prototip, farklı modellerin karşılaştırılması ve sahne veya sensör değişikliklerinin alt akıştaki sürüş davranışını nasıl etkilediğinin izlenmesi için test alanı sundu. Benzer şekilde, RTX sensör doğrulaması üzerinde çalışan Ashley Reid, kayıtlı kamera ve ham LiDAR çıktılarını gerçek verilerle karşılaştırmak için Astra ve Claude Fable 5 ajanlarını yönlendirdi. Yaklaşık üç günlük yinelemeli bir süreçte ajanlar, eksik nesneleri, geometrileri ve malzemeleri tespit ederek sıfırdan iki dijital ikiz oluşturdu ve mevcut ikileri geliştirdi.

Robo Olympics ve Endüstriyel Parça Tasarımı

Robotlara yeni hareketler öğretmek, bu eylemlerin fiziksel kısıtlamalar altında çalışıp çalışmadığının kontrol edilmesini gerektiriyor. NVIDIA Omniverse mühendislik ve ürün lideri Tae Kim, spor videoları ve doğal dil talimatları yardımıyla Astra'yı kullanarak spor hareketleri gerçekleştiren simüle edilmiş Unitree G1 insanoidlerini test eden deneysel bir proje olan Robo Olympics'i inşa etti. Newton Fizik Motoru davranışları simüle ederken, açık kaynaklı NVIDIA Warp çerçevesi hesaplamaları hızlandırdı ve ovrtx sahneleri işledi.

Öte yandan, OpenUSD kıdemli ürün yöneticisi Jens Jebens, bir robotun parçalara ulaşıp ulaşamayacağını test etmek için Astra ile PTC Onshape üzerinde bir araba süspansiyonunu modelledi ve NVIDIA Isaac Sim içinde yapılandırdı. Ajan, mevcut alanı ölçerek robotun süspansiyon cıvatalarına erişmesini sağlayacak özel bir anahtar tasarladı ve simülasyonda başarılı parça sökme işlemi gerçekleştirildi.

Uzay İstasyonu ve Gerçek Odaların Dijitalleştirilmesi

3D modelleri çalışan bir uygulamaya dönüştürmek, varlıkların, canlı verilerin ve arayüzlerin entegrasyonunu gerektiriyor. NVIDIA mühendislik direktörü Nic Johns, tek bir komut istemiyle NASA varlıklarını telemetri içeren bir OpenUSD Uluslararası Uzay İstasyonu modelinde toplamak için Astra'yı yönlendirdi. Blender varlık hazırlığı için kullanılırken, ovrtx, ovstage ve ovstream kütüphaneleri tarayıcı tabanlı akış ve işleme süreçlerini yönetti.

Isaac mühendislik uygulamaları ekibinden Chirag Majithia ise stereo kamera çekimlerini düzenlenebilir bir OpenUSD stüdyosuna dönüştürmek için Astra'yı kullandı. PyCuSFM, FoundationStereo ve nvblox yardımıyla oluşturulan rekonstrüksiyon, USD İçerik Ajanları ile desteklenerek nesnelerin simülasyon içinde nasıl hareket edeceği ve etkileşime gireceği yapılandırıldı.

NVIDIA'nın sunduğu bu teknik altyapı ve örnek projeler, yapay zeka ajanlarının fiziksel yapay zeka geliştirme süreçlerinde manuel kodlama ihtiyacını önemli ölçüde azaltarak mühendislere çok katmanlı simülasyon ortamları kurma konusunda esneklik kazandırdığını doğruluyor.