Robocikowo>ROBOCIKOWO
Ocena jakości

ARC-AGI-3

2025AktywnyOpublikowano: 4 września 2026Aktualizacja: 4 września 2026Opublikowany
Pierwszy w pelni interaktywny benchmark z serii ARC-AGI: mierzy zdolnosc agentow AI do eksploracji nieznanych, gropodobnych srodowisk, uczenia sie i planowania bez instrukcji.
Kluczowa innowacja
Przeniesienie pomiaru inteligencji ze statycznych zadan siatkowych na interaktywne srodowiska, w ktorych liczy sie efektywnosc uczenia sie i planowania w czasie, a nie pojedyncza poprawna odpowiedz.
Kategoria
Ocena jakości
Poziom abstrakcji
Wzorzec
Poziom operacji
Ewaluacja (runtime)Środowisko agentowe
Zastosowania
Ewaluacja agentow AI w interaktywnych srodowiskachPomiar efektywnosci pozyskiwania umiejetnosciBadanie planowania dlugoterminowego i eksploracjiTestowanie modeli swiata i uczenia ciaglegoZawody ARC Prize (Kaggle)

Jak działa

Agent trafia do interaktywnej gry bez instrukcji, regul i podanego celu. Postrzega kolejne klatki/stany srodowiska i wykonuje akcje w trybie turowym, samodzielnie odkrywajac mechanike oraz warunek zwyciestwa. Srodowiska sa nowe (novelty), co uniemozliwia zapamietanie rozwiazan. Ocena opiera sie na efektywnosci dzialan - liczbie akcji potrzebnych do ukonczenia poziomow w porownaniu z czlowiekiem; 100% oznacza pokonanie wszystkich gier tak sprawnie jak ludzie. Dostep odbywa sie przez API (wspolpraca z Hugging Face) oraz harness agentowy, a zbior dzieli sie na gry publiczne i prywatne (holdout), aby zapobiec przeuczeniu na jawnych zadaniach.

Rozwiązany problem

Statyczne benchmarki (ARC-AGI-1/2) oceniaja pojedyncze odpowiedzi i sa podatne na zapamietywanie oraz brute-force. Nie mierza zdolnosci agenta do dzialania w czasie: eksploracji, planowania dlugoterminowego przy rzadkim sygnale nagrody, aktualizacji przekonan i uczenia sie z doswiadczenia. ARC-AGI-3 wypelnia te luke, oceniajac inteligencje jako proces, a nie pojedynczy wynik.

Komponenty

Interaktywne srodowiska gropodobneSrodowisko testowe

Setki nowych, turowych gier bez instrukcji; agent postrzega stan i wykonuje akcje, odkrywajac cel i mechanike.

API i harness agentowyInterfejs dostepu

Interfejs (udostepniony we wspolpracy z Hugging Face) pozwalajacy agentom obserwowac stan i przesylac akcje w petli gry.

Oficjalna

Podzial gry publiczne / prywatne (holdout)Ochrona przed przeuczeniem

Gry publiczne sluza do rozwoju agentow, a prywatne (holdout) do rzetelnej oceny na zadaniach nigdy niewidzianych.

Metryka efektywnosci dzialanPunktacja

Ocena liczby akcji potrzebnych do ukonczenia poziomow wzgledem czlowieka; 100% = tak sprawnie jak ludzie.

Ewolucja

2019
ARC-AGI-1
Punkt przełomowy

Francois Chollet publikuje ARC-AGI wraz z praca 'On the Measure of Intelligence' - statyczne zadania siatkowe.

ARC-AGI (koncept)On the Measure of Intelligence (artykuł)
2025
ARC-AGI-2

Druga generacja statycznego benchmarku, trudniejsza dla modeli; powstaje fundacja ARC Prize.

2025
Developer preview ARC-AGI-3 (17 lipca 2025)
Punkt przełomowy

Sneak peek z 3 grami publicznymi (ls20, ft09, vc33) i 3 prywatnymi (holdout) oraz pierwsza wersja API (Hugging Face).

2026
Pelny launch ARC-AGI-3 (25 marca 2026)
Punkt przełomowy

Setki interaktywnych srodowisk i tysiace poziomow; przy starcie ludzie 100%, czolowe AI 0,51%; pula nagrod 2 mln USD, zawody na Kaggle.