Robocikowo>ROBOCIKOWO
Ocena jakości

SRE-Bench

2025EksperymentalnyOpublikowano: 4 września 2026Aktualizacja: 4 września 2026Opublikowany
Otwarty benchmark oceniający agentów AI/LLM w zadaniach Site Reliability Engineering: diagnostyce i naprawie incydentów w środowiskach Kubernetes/GitOps.
Kluczowa innowacja
Otwarty, odtwarzalny benchmark przenoszący ideę SWE-bench z naprawy kodu na dziedzinę Site Reliability Engineering — ocenia agentów AI na realistycznych, kaskadowych incydentach produkcyjnych w klastrach Kubernetes.
Kategoria
Ocena jakości
Poziom abstrakcji
Wzorzec
Poziom operacji
Ewaluacja (runtime)Środowisko agentowe
Zastosowania
Ocena agentów AI/LLM w reagowaniu na incydenty KubernetesBenchmark autonomicznych agentów SRE / DevOpsTestowanie analizy przyczyn źródłowych (RCA) w środowiskach cloud-nativePomiar bezpieczeństwa remediacji i MTTR agentówTriaż obserwowalności (Prometheus, alerty) przez agentówŚrodowisko POC dla autonomicznego zarządzania Kubernetes

Jak działa

SRE-Bench uruchamia agenta w środowisku Kubernetes, do którego injektory awarii wprowadzają zdefiniowany scenariusz incydentu (np. stały ConfigMap powodujący drift ArgoCD i CrashLoopBackOff, wygasła rotacja sekretu prowadząca do awarii uwierzytelniania bazy, czy presja na węzły z błędnie skonfigurowanym HPA). Każdy scenariusz opisuje pierwotny trigger, ścieżkę propagacji, wpływ, sygnały detekcji oraz kroki mitygacji. Agent obserwuje stan klastra (kubectl, zdarzenia, metryki Prometheus, logi) i ma za zadanie zdiagnozować przyczynę źródłową oraz przeprowadzić bezpieczną remediację. Harness ewaluacyjny mierzy wynik za pomocą metryk operacyjnych: czasu do diagnozy, wskaźnika bezpiecznej remediacji, MTTR oraz wyjaśnialności decyzji. Scenariusze są modularne i społecznościowe — użytkownicy mogą dodawać własne przypadki testowe.

Rozwiązany problem

Dotychczasowe benchmarki agentów AI (np. SWE-bench) mierzą naprawę kodu, ale nie oddają realiów pracy inżyniera niezawodności, gdzie liczy się diagnozowanie i naprawa żywych, kaskadowych incydentów w działającym systemie produkcyjnym. Brakowało otwartego, odtwarzalnego środowiska, w którym można ocenić, czy agent potrafi bezpiecznie rozpoznać przyczynę źródłową awarii w Kubernetes i przeprowadzić remediację bez pogorszenia sytuacji. SRE-Bench wypełnia tę lukę, dostarczając wystandaryzowane scenariusze awarii i harness ewaluacyjny.

Komponenty

Biblioteka scenariuszyZadania testowe / przypadki incydentów

Zestaw 17 scenariuszy rzeczywistych incydentów symulujących kaskadowe awarie w Kubernetes, GitOps i cloud-native — od ImagePullBackOff po wielowarstwowe łańcuchy awarii.

Injektory awariiWywołanie incydentu

Mechanizmy wprowadzające zdefiniowaną awarię do klastra (np. drift konfiguracji, wygasłe sekrety, presja na węzły).

Manifesty KubernetesŚrodowisko bazowe

Deklaratywne manifesty definiujące stan bazowy aplikacji i infrastruktury dla scenariusza.

Oficjalna

Specyfikacje obserwowalnościSygnały detekcji

Definicje sygnałów detekcji — metryk Prometheus, zdarzeń i alertów — na których agent opiera diagnozę.

Oficjalna

Harness ewaluacyjnyOcena i scoring

Warstwa scoringu mierząca wynik agenta metrykami: time-to-diagnose, safe remediation rate, MTTR i wyjaśnialność.

Agenci bazowiPunkt odniesienia

Referencyjne implementacje agentów służące jako punkt odniesienia przy porównywaniu własnych agentów.

Oficjalna

Implementacja

Ewolucja

2025
Publikacja open-source SRE-Bench przez Agentkube
Punkt przełomowy

Agentkube udostępnia SRE-Bench na GitHub (licencja MIT) jako benchmark agentów SRE inspirowany SWE-bench, z biblioteką 17 scenariuszy incydentów Kubernetes.

SRE-bench — repozytorium GitHub (artykuł)

Wymagania sprzętowe

Podstawowe

SRE-Bench to benchmark/środowisko ewaluacyjne działające na klastrze Kubernetes — nie jest związany z konkretnym typem akceleratora; wymagania sprzętowe zależą od ocenianego agenta.