Robocikowo>ROBOCIKOWO
Agenci

CUA

2024AktywnyOpublikowano: 6 sierpnia 2026Aktualizacja: 2 września 2026Opublikowany
Agent AI, ktory obsluguje komputer/GUI jak czlowiek: postrzega ekran (zrzuty, model wizyjno-jezykowy) i wykonuje akcje mysza oraz klawiatura (klikniecia, pisanie, przewijanie), aby realizowac zadania w przegladarce i aplikacjach.
Kluczowa innowacja
Umozliwienie agentowi AI obslugi dowolnego oprogramowania tak jak czlowiek - przez patrzenie na ekran (zrzuty) i sterowanie mysza oraz klawiatura - zamiast wymagac dedykowanych API do kazdej aplikacji.
Kategoria
Agenci
Poziom abstrakcji
Wzorzec
Poziom operacji
AplikacjaToolingOrkiestracja
Zastosowania
Automatyzacja zadan w przegladarce i aplikacjach (end-to-end)Wypelnianie formularzy i finalizacja transakcji (zakupy, rezerwacje)Wyszukiwanie i porownywanie informacji na wielu stronachZastapienie kruchych skryptow RPATestowanie i QA interfejsow uzytkownika

Jak działa

W petli: 1) percepcja - agent otrzymuje zrzut ekranu (i ew. drzewo dostepnosci/DOM) i interpretuje go modelem wizyjno-jezykowym; 2) rozumowanie/planowanie - decyduje o kolejnym kroku wobec celu; 3) akcja - wykonuje operacje GUI (klik w okreslonych wspolrzednych, wpisanie tekstu, przewijanie, skroty); 4) obserwacja efektu i powtorzenie, az do ukonczenia zadania. Agent czesto dziala w izolowanym srodowisku (VM/przegladarka), moze korzystac z zalogowanych kont uzytkownika i laczyc obsluge GUI z wywolaniami narzedzi/API tam, gdzie sa dostepne.

Rozwiązany problem

Automatyzacja zadan na komputerze zwykle wymagala integracji przez API lub kruchych skryptow RPA, ktore lamia sie przy zmianach interfejsu. CUA dziala na warstwie GUI jak czlowiek, wiec moze obsluzyc aplikacje bez API i adaptowac sie do zmian interfejsu.

Komponenty

Percepcja ekranu (VLM)Wejscie (obserwacja).

Analiza zrzutow ekranu (i ew. DOM/drzewa dostepnosci) modelem wizyjno-jezykowym w celu zrozumienia interfejsu.

Rozumowanie i planowanieWarstwa decyzyjna.

Decydowanie o kolejnych krokach wobec celu na podstawie stanu ekranu.

Przestrzen akcji GUIWyjscie (dzialanie).

Zestaw akcji: klik (wspolrzedne), pisanie, przewijanie, skroty klawiszowe.

Oficjalna

Srodowisko wykonawcze (VM/przegladarka)Miejsce dzialania agenta.

Izolowane srodowisko z przegladarka i systemem plikow, czesto z dostepem do kont uzytkownika.

Oficjalna

Implementacja

Implementacje referencyjne
Anthropic computer use demo
Python · Anthropic
Oficjalna
OpenAI computer use (computer-use-preview)
API · OpenAI
Oficjalna
browser-use
Python · browser-use (Magnus Muller, Gregor Zunic)
Pułapki implementacyjne
Bezpieczenstwo i dostep do kontWysoka

CUA dziala z uprawnieniami uzytkownika (zalogowane konta), wiec bledy lub przejecie kontroli moga wyrzadzic realne szkody.

Rozwiązanie:Izolowane srodowisko, bramki zatwierdzania dla akcji ryzykownych, ograniczenia uprawnien i monitoring.
Prompt injection z tresci stronWysoka

Zlosliwa tresc na stronie moze probowac przejac agenta i sklonic go do niepozadanych dzialan.

Rozwiązanie:Oddzielenie instrukcji od tresci, filtrowanie, potwierdzenia i polityki bezpieczenstwa.
Niezawodnosc i kumulacja bledowŚrednia

Wieloetapowe zadania GUI sa podatne na kumulacje bledow; jeden bledny klik moze wykoleic caly przeplyw.

Rozwiązanie:Weryfikacja krokow, mechanizmy cofania/ponawiania, punkty kontrolne i ocena postepu.

Ewolucja

2024
Anthropic 'Computer Use' dla Claude
Punkt przełomowy

W pazdzierniku 2024 Anthropic udostepnil funkcje Computer Use, w ktorej Claude steruje komputerem przez zrzuty ekranu i akcje GUI - przelom w upowszechnieniu CUA.

2025
OpenAI Operator / CUA

W styczniu 2025 OpenAI wprowadzil agenta Operator opartego na modelu CUA, wykonujacego zadania w przegladarce; Google rozwijal Project Mariner.

2026
Komercyjne CUA (np. Hark Handoff)

Pojawily sie wyspecjalizowane, komercyjne CUA jak Hark Handoff, konkurujace na benchmarkach (Online-Mind2Web) i obnizajace koszt na token.

Hiperparametry (konfigurowalne osie)

Rozdzielczosc ekranu / zrzutuWysoka

Rozdzielczosc wirtualnego ekranu i zrzutow podawanych modelowi. Anthropic zaleca XGA (1024x768) i konfiguruje ja zmiennymi WIDTH/HEIGHT; OpenAI uzywa display_width/display_height. Zbyt wysoka rozdzielczosc obniza trafnosc klikniec.

1024x768Zalecane XGA (Anthropic).
1920x1080Wyzsza rozdzielczosc; moze wymagac skalowania i obnizac trafnosc.
Typ srodowiskaŚrednia

Srodowisko, w ktorym dziala agent (np. przegladarka lub system operacyjny). W API OpenAI parametr environment przyjmuje m.in. browser/mac/windows/ubuntu.

browserZadania w przegladarce.
ubuntu / windows / macSterowanie pelnym systemem operacyjnym.
Maksymalna liczba krokowWysoka

Budzet iteracji petli obserwacja-decyzja-akcja na jedno zadanie. Ogranicza koszt i ryzyko zapetlenia, kosztem mozliwosci ukonczenia dlugich zadan.

Równoległość

Poziom równoległości
Sekwencyjny

Petla obserwacja-decyzja-akcja jest z natury sekwencyjna: kazda akcja GUI zalezy od stanu ekranu po poprzedniej akcji, wiec krokow w ramach jednego zadania nie da sie zrownoleglic (mozna zrownoleglac jedynie wiele niezaleznych zadan/agentow).

Zakres
Inferencja

Wymagania sprzętowe

Podstawowe

CUA to warstwa orkiestracji (petla obserwacja-decyzja-akcja) nad modelem wizyjno-jezykowym; sama logika agenta jest niezalezna od sprzetu, a wymagania obliczeniowe leza po stronie modelu bazowego (GPU/TPU).