Doğal dilde talimatlar vererek robotun havlu katlamasını, çekmeceyi kapatmasını, kulaklığı asmasını sağlayın—tıpkı ChatGPT'ye soru sormak gibi, geliştiriciler artık açık bir arayüz aracılığıyla robotların gerçek dünyada görevleri yerine getirmesini sağlayabilir.
10 Ekim'de, eski NVIDIA GR00T çekirdek ekip üyeleri tarafından kurulan Dream Labs, dünyanın halka açık ilk robot temel modeli API'si olan Dream API'yi hizmete sundu. MiFeng Technology, arkasındaki dünya eylem modeli Dream-1 için bedensiz veri, gerçek robot verisi, gerçek robot testi ve değerlendirmesini kapsayan tam süreçli hizmet sunarak model araştırma-geliştirme ve sıfır atış (Zero-shot) genelleme fizibilite doğrulamasını destekliyor.
Robot donanım maliyetlerinin sürekli düşmesiyle birlikte sektör, her robot veya görev değişikliğinde yeniden eğitim ve uyarlama maliyetini azaltmak için görevler ve bedenler arası yeniden kullanılabilen bir "genel beyne" acil ihtiyaç duyuyor. Dream API, robot modeli yeteneklerini API biçiminde halka açarak geliştiricilerin makine öğrenmesi geçmişine sahip olmadan kendi robotlarını bağlamasına ve doğal dil talimatlarıyla robotları görevleri yerine getirmeye yönlendirmesine olanak tanıyor. Dream-1'in kullanım fiyatı saat başına 3 dolar. Şu anda 20'den fazla donanım üreticisi işbirliğine katılmış durumda.
Dream API'nin arkasında, video tahmini ile eylem üretimini birlikte öğrenen ve robotları gerçek zamanlı, kapalı döngü içinde kontrol edebilen dünya eylem modeli (WAM) Dream-1 bulunuyor. Ekibin açıkladığına göre, 27 hiç görülmemiş robotun simülasyon değerlendirmesinde 24'ü eğitim bedeni YAM'in yarısından fazla performans sergiledi; gerçek robotlarda Dream-1, hedef robota özgü verilerle ek eğitim gerektirmeden havlu katlama, çekmece kapatma, kulaklık asma gibi görevleri tamamlayabiliyor. Şu anda sıfır atışlı bedenler arası yeteneği esas olarak çift kollu paralel tutuculu robotlara yönelik.
Robotların yeni bedenlerde "sıfır atışla işe başlamasını" sağlamak, eğitim verisi birikimi ve gerçek yürütme testlerinden ayrı düşünülemez.
Bu işbirliğinde MiFeng Technology, Dream-1 dünya eylem modelinin ön eğitimi için bedensiz veri sağlayarak zengin insan operasyonu ve nesne etkileşim bilgileri aracılığıyla modelin farklı görevlerin operasyon süreçlerini öğrenmesini destekliyor; aynı zamanda robotun gerçek yürütmedeki hareket, operasyon ve temas deneyimini tamamlamak için gerçek robot verisi sunuyor. İki veri türü birbirini tamamlayarak modelin yetenek öğrenimi ve yinelemeli optimizasyonuna destek sağlıyor.
MiFeng, veri tedarikinden gerçek robot doğrulamasına kadar test ve değerlendirme hizmetleri de sunarak ekibin Dream-1'in yeni bedenlerdeki sıfır atışlı genelleme fizibilitesini doğrulamasına yardımcı oluyor. Robotun talimatları anlaması, görev yürütme süreci ve tamamlanma durumu gözlemlenerek modelin mevcut yeteneklerinin yeni robotlara aktarılıp aktarılamayacağı değerlendiriliyor, yürütmedeki sorunlar tespit edilerek sonraki veri tamamlama, model optimizasyonu ve beden uyarlaması için dayanak sağlanıyor.
Tek noktadan fiziksel AI veri hizmet platformu olarak MiFeng, bedensiz, gerçek robot uzaktan kumanda ve simülasyonu kapsayan bir veri hizmet sistemi kurdu. Bu kez Dream-1'e destek olarak veri tedariki ile yürütme doğrulamasını birbirine bağlayan MiFeng, temel model araştırma-geliştirmeye yönelik hizmet pratiğini daha da genişletti.
Gelecekte MiFeng, yüksek kaliteli veri tedarikini sürekli genişleterek veri yönetişimi, standartlaştırılmış teslimat ve gerçek robot değerlendirme yeteneklerini geliştirecek; model araştırma-geliştirme ekiplerine, robot üreticilerine ve araştırma kurumlarına tam süreçli hizmet sunarak robot modellerinin daha fazla gerçek senaryoya ulaşmasını ilerletecek.
