Zachowanie AI
Wyrównanie AI (AI Alignment)
AktywnyAktualizacja: 28 sierpnia 2026Opublikowany
AI alignment to dziedzina badań dążąca do tego, by systemy AI realizowały cele zgodne z zamiarami i wartościami ich twórców oraz społeczeństwa.
Kluczowa
innowacja
Zapewnienie, że cele i zachowania systemów AI są zgodne z intencjami i wartościami ludzi.
Kategoria
Zachowanie AI
Poziom abstrakcji
Paradygmat
Poziom operacji
Element architekturyModel
Zastosowania
Trenowanie asystentów AI (helpful/harmless/honest)Bezpieczeństwo modeli frontierNadzór i kontrola agentówPolityka i regulacje AI
Jak działa
Techniki obejmują m.in. uczenie ze wzmocnieniem z informacją zwrotną od ludzi (RLHF) i od AI (RLAIF), constitutional AI, nadzór skalowalny, interpretowalność, red-teaming oraz ewaluacje zdolności i zagrożeń (np. prace METR i Palisade Research).
Rozwiązany problem
Trudno precyzyjnie zakodować ludzkie intencje i wartości w celu optymalizacyjnym; źle wyrównane, zdolne systemy mogą działać w sposób niepożądany lub niebezpieczny.