Ocena jakości

HellaSwag

2019AktywnyOpublikowano: 24 sierpnia 2026Aktualizacja: 24 sierpnia 2026Opublikowany

Benchmark commonsense NLI: wybór najbardziej sensownego z 4 zakończeń zdania/zdarzenia. Trywialny dla ludzi (>95%), trudny dla wczesnych modeli (<48%).

Kluczowa innowacja

Skalując metodę Adversarial Filtering, stworzono benchmark commonsense NLI trywialny dla ludzi (>95%), lecz bardzo trudny dla ówczesnych modeli SOTA (<48%), pokazując, że benchmarki powinny ewoluować adwersarialnie razem z modelami.

Kategoria

Ocena jakości

Poziom abstrakcji

Wzorzec

Poziom operacji

Ewaluacja (runtime)Po-trening

Zastosowania

Ewaluacja wnioskowania zdroworozsądkowego LLMBenchmarking modeli językowychElement pakietów ewaluacyjnych (lm-evaluation-harness, Open LLM Leaderboard)Pomiar commonsense NLIPorównywanie modeli w trybie few-shot / zero-shot

Jak działa

Każdy przykład zawiera kontekst (ctx, złożony z ctx_a i ctx_b) oraz listę czterech możliwych zakończeń; dokładnie jedno jest poprawne (pole label 0–3). Poprawne zakończenie pochodzi z oryginalnego źródła (ActivityNet lub WikiHow), a dystraktory są generowane maszynowo i selekcjonowane przez Adversarial Filtering: trenuje się dyskryminator do odróżniania tekstu ludzkiego od maszynowego, zachowuje wygenerowane przykłady oszukujące model i iteruje, aż zbiór jest trudny dla modeli, lecz łatwy dla ludzi (weryfikacja przez adnotatorów). Model oceniany jest trafnością wyboru poprawnego zakończenia; ewaluacja obejmuje kategorie in-domain oraz zero-shot (aktywności niewidziane w treningu).

Rozwiązany problem

Wcześniejsze benchmarki commonsense (np. SWAG) zostały szybko wysycone przez modele wstępnie trenowane jak BERT, co utrudniało pomiar rzeczywistego wnioskowania zdroworozsądkowego. HellaSwag tworzy trudne, adwersarialne przykłady, które pozostają łatwe dla ludzi, przywracając rozdźwięk człowiek–model jako miarę postępu.

Komponenty

Kontekst i cztery zakończeniaFormat zadania wielokrotnego wyboru

Format zadania: kontekst (ctx_a + ctx_b) oraz cztery kandydujące zakończenia, z których jedno jest poprawne (label 0–3).

Adversarial FilteringMechanizm generowania dystraktorów

Paradygmat zbierania danych: zespół dyskryminatorów iteracyjnie selekcjonuje maszynowo generowane błędne odpowiedzi trudne dla modeli, lecz absurdalne dla ludzi.

Źródła kontekstu (ActivityNet, WikiHow)Domeny danych źródłowych

Konteksty pochodzą z opisów filmów ActivityNet Captions oraz instrukcji WikiHow; obejmują kategorie in-domain i zero-shot.