RoboDojo
Jak działa
Benchmark udostępnia klienta symulatora oraz zestaw zadań ewaluacyjnych działających na Isaac Sim, z heterogeniczną, równoległą symulacją różnych zadań i scen dla szybkiego, skalowalnego feedbacku. Sceny opierają się na fizycznie ugruntowanych zasobach (obiekty sztywne, artykułowane i deformowalne) sterowanych konfiguracją, z kontrolowanymi ziarnami losowości zapewniającymi powtarzalność układów. Warstwa RoboDojo-RealEval prowadzi analogiczne testy na fizycznych robotach (Piper X, Piper, ARX X5) ze zdalnym dostępem chmurowym, ustandaryzowanym sprzętem i resetem sceny. Polityki podłącza się przez wspólny interfejs XPolicyLab, a jednym poleceniem (summarize) agreguje wyniki do tabeli leaderboardu. W bieżącym wydaniu RoboDojo jest eval-only — dostarcza symulator, zadania, walidację zasobów/konfiguracji oraz artefakty wyników, natomiast integracja i serwery polityk należą do XPolicyLab.
Rozwiązany problem
Dotychczasowe benchmarki manipulacji były zwykle albo wyłącznie symulacyjne, albo wyłącznie w świecie rzeczywistym, co utrudniało skalowalną, powtarzalną i porównywalną ocenę uniwersalnych polityk. RoboDojo łączy oba tryby i standaryzuje protokół oceny, aby wyniki były odtwarzalne i porównywalne między modelami.
Komponenty
42 zadania w Isaac Sim pogrupowane w pięć wymiarów zdolności (generalizacja, pamięć, precyzja, długi horyzont, zadania otwarte), z heterogeniczną, równoległą symulacją.
18 zadań na fizycznych robotach (Piper X, Piper, ARX X5) ze zdalnym dostępem chmurowym, ustandaryzowanym sprzętem, resetem sceny, protokołem oceny i interfejsem wdrożeniowym.
Powiązany projekt spinający wiele polityk za jednym interfejsem, wykorzystywany zarówno w symulacji, jak i w testach rzeczywistych; w RoboDojo eval-only integracja polityk należy do XPolicyLab.
Publiczny, na bieżąco aktualizowany ranking; wyniki agregowane jednym poleceniem summarize przy kontrolowanych ziarnami układach dla odtwarzalności.
Implementacja
RoboDojo dostarcza wyłącznie symulator, zadania, walidację zasobów/konfiguracji i artefakty wyników; integracja i serwery polityk nie są częścią repozytorium.
Symulacja opiera się na Isaac Sim i wymaga odpowiedniej pamięci GPU; dokumentacja wskazuje typowe problemy z instalacją, zasobami i pamięcią GPU.
Ewolucja
RoboDojo opublikowano na arXiv (2607.04434) i udostępniono repozytorium; benchmark w wydaniu eval-only.