Vals AI

Vals AI określa się jako niezależny ewaluator sztucznej inteligencji. Firma buduje benchmarki i infrastrukturę ewaluacyjną, żeby sprawdzać, czy modele potrafią wykonywać pracę na poziomie zawodowym w takich dziedzinach jak prawo, bankowość, inżynieria i medycyna. Punkt wyjścia jest krytyczny wobec stanu branży: zdaniem Vals AI benchmarki modeli są poważnie niewystarczające, bo mierzą abstrakcyjną inteligencję zamiast zadań branżowych, przy których modele faktycznie się wykorzystuje.

Zamiast korzystać z cudzych zestawów, firma opracowuje i przeprowadza własne ewaluacje. Publikuje indeksy zbiorcze — Vals Index, Vals Multimodal Index oraz RSI Index dotyczący zdolności do rekurencyjnego samodoskonalenia — a obok nich benchmarki domenowe. W obszarze prawa są to m.in. Legal Research Bench, Case Law (v2) i uruchomienia Harvey's Legal Agent Benchmark; w finansach Finance Agent v2, CorpFin v2 i Mortgage Tax; w podatkach Tax Agent Bench oraz TaxEval v2; w technice SWE-bench Verified, Terminal-Bench, Vibe Code Bench i CyberBench; w medycynie MedCode i MedScribe. Osobne miejsce zajmuje Public Benefits Bench, mierzący wiarygodność odpowiedzi o pomoc społeczną w programie SNAP.

Metodyka opiera się na uruchamianiu modeli na identycznych zestawach zadań z ustandaryzowanymi rubrykami oceny. Firma deklaruje brak modeli zapasowych na większości benchmarków i liczy odmowy jako porażki. Poza samą trafnością mierzy koszt na test, latencję, zużycie tokenów i zdolność do korzystania z narzędzi, a błędy analizuje jakościowo. Zestawy testowe pozostają prywatne, żeby nie trafiły do danych treningowych, ale publikowane są zbiory walidacyjne. Vals AI udostępnia też na otwartej licencji własną infrastrukturę: rozproszony system benchmarkowania agentowego Valkyrie i bibliotekę modeli ze standaryzowanym dostępem przez API. Firma ma siedzibę w San Francisco, zatrudnia od 11 do 50 osób, pozostaje spółką prywatną i jest wspierana przez fundusz Andreessen Horowitz.