OpenAI、Anthropic ve Google gibi üç büyük yapay zeka devinin amiral gemisi modelleri aynı arenada karşı karşıya geldiğinde, hangisi robotları daha iyi kontrol edebiliyor?
20 Ekim'de, Mifeng Technology, Hugging Face, NVIDIA, Tsinghua Üniversitesi ve dünya genelinde yaklaşık 20 üniversite, şirket ve araştırma kurumunun ortaklaşa başlattığı somutlaştırılmış yapay zeka arenası RoboColiseum bu turun değerlendirme sonuçlarını açıkladı: Claude Opus 5.5 dört amiral gemisi model arasında genel sıralamada birinci olurken, GPT-6 Astra onu yakından takip etti.
Alt kategorilere bakıldığında, dört amiral gemisi model arasında GPT-6 Astra talimat takibi ve genel bozulma adaptasyonunda öne çıkarak talimat takibinde 99,35 puan aldı; Opus ise mekansal anlama ve genel manipülasyonda daha iyi performans göstererek en az toplam tur değerlendirme token tüketimiyle amiral gemisi grubunda genel birinciliği elde etti. Görüntü kalitesinin bozulduğu testlerde GPT-6.1 Sol diğer üç modelin belirgin şekilde gerisinde kalarak farklı modellerin görsel bilgi değişimlerine karşı kararlılık farklarını ortaya koydu.
Ancak bu turun genel sıralamasında ilk iki sırayı yine somutlaştırılmış strateji modelleri aldı ve özellikle genel manipülasyon boyutunda avantajlarını korudu.
Bu aynı sahne karşılaşması, sektörün genel büyük modeller ile somutlaştırılmış strateji modellerinin yetenek avantajlarını ve zayıf yönlerini net bir şekilde görmesi için doğrudan bir referans sağladı.
RoboColiseum, talimat takibi, mekansal anlama, bozulma adaptasyonu ve genel manipülasyon etrafında dört yetenek alt sıralaması ve 78 yüksek sadakatli simülasyon değerlendirme görevi sunarak hem modellerin alt kategori performanslarını ortaya koyuyor hem de görev tamamlama adımlarını ve başarısızlık konumlarını kaydederek geliştiricilerin model yetenek zayıflıklarını hızlıca tespit etmesine yardımcı oluyor.
Ortak başlatıcı olarak Mifeng, RoboColiseum'a yüksek sadakatli nesne varlıkları ve simülasyon sahneleri sağlayarak karmaşık robot manipülasyon görevleri için değerlendirme ortamlarının oluşturulmasını destekliyor ve farklı nesne etkileşimleri, mekansal düzenlemeler ve çevresel koşullar altında model yetenek testleri için temel kaynaklar sunuyor.
Modellerin simülasyondaki başarısının gerçek operasyon performansını yansıtıp yansıtamayacağı da değerlendirmenin kilit noktası. Platformun açıkladığı gerçek test sonuçlarına göre, RoboColiseum simülasyon değerlendirmesi ile gerçek robot konuşlandırması arasındaki korelasyon %89,5'e ulaşıyor ve aynı modelin simülasyon ile gerçek dünyadaki değerlendirme farkı %10'un altında kalıyor; bu da geliştiricilerin gerçek robot testine geçmeden önce model seçimi ve sorun tespiti için referans sağlayabiliyor.
Mifeng Technology, gerçek robot, simülasyon ve bedensiz olmak üzere üç büyük veri paradigmasını kapsayan "hem kapsamlı hem kaliteli hem hızlı" bir veri tedarik sistemi sunuyor. Simülasyon alanında Mifeng, çeşitli günlük nesneleri ve iç mekan sahnelerini kapsayan nesne varlıkları ve ortam varlıkları olmak üzere iki tür kaynak sağlıyor; ayrıca sahne yeniden oluşturma, uzman yörünge verisi elde etme ve değerlendirme sonuçlarının görselleştirilmesi gibi yetenekler sunarak model ekiplerinin çeşitlendirilmiş eğitim ve değerlendirme yapmasına yardımcı oluyor.
Coliseum özgün olarak antik Roma'daki dairesel arenayı ifade eder; RoboColiseum bu imgeyi temel alarak çok boyutlu bir sistematik değerlendirme sistemi oluşturuyor ve gerçek robot performansıyla yüksek düzeyde tutarlı simülasyon değerlendirmesiyle somutlaştırılmış yapay zeka modelleri için açık, tarafsız ve yeniden üretilebilir bir "arena" ve "eğitim alanı" inşa ediyor. Herhangi bir üniversite, araştırma kurumu veya şirket geliştiricisi kendi modelini göndererek standart bir "sınava" tabi tutulabiliyor. Ağustos ayında faaliyete geçmesinden bu yana yurt içinden ve yurt dışından 100'den fazla ekip platformda model eğitimi ve değerlendirmesi gerçekleştirdi.
RoboColiseum artık dünya genelindeki geliştiricilere açık ve model ekiplerini değerlendirmeye katılmaya davet ediyor.
