Robocikowo>ROBOCIKOWO
Trening

RFT

2023AktywnyOpublikowano: 3 maja 2026Aktualizacja: 3 maja 2026Opublikowany
Technika post-trainingu używająca uczenia ze wzmocnieniem do dostrajania modelu na zadaniach domenowych według mierzalnej nagrody.
Kluczowa innowacja
Fine-tunes a pre-trained model on domain-specific tasks using reinforcement learning rewards, improving task accuracy without general RLHF preference alignment.
Kategoria
Trening
Poziom abstrakcji
Wzorzec
Poziom operacji
Po-treningTrening
Zastosowania
Domain-specific model specializationScientific reasoningCode generation optimizationMedical diagnosis assistance

Jak działa

Model jest uruchamiany na zbiorze zadań domenowych. Każda odpowiedź jest oceniana przez obiektywny scorer. Gradient policy (np. PPO lub GRPO) jest obliczany na podstawie nagrody i używany do aktualizacji wag modelu. Iteracja powtarzana aż do zbieżności.

Rozwiązany problem

Ogólne modele RLHF są wyśmienite w rozumieniu instrukcji, ale nie są zoptymalizowane pod konkretne zadania z mierzalnym wynikiem. RFT rozwiązuje lukę między ogólną pomocnością a specjalistyczną dokładnością.

Implementacja

Pułapki implementacyjne
Reward hacking — model optymalizuje proxy zamiast prawdziwego celuŚrednia

Model może znaleźć zachowania uzyskujące wysoką nagrodę bez spełniania intencji projektanta (np. generowanie długich, pewnie brzmiących ale błędnych odpowiedzi). Wymaga starannego projektowania reward function.

KL penalty musi być starannie skalibrowanaŚrednia

Za mała kara KL → model dryfuje daleko od SFT baseline, tracąc spójność językową. Za duża → model nie uczy się z nagród. Optymalna wartość β zależy od zadania i danych.

Niestabilność treningu przy rzadkich pozytywnych nagrodachŚrednia

Dla trudnych zadań (np. złożone zadania matematyczne) model rzadko otrzymuje nagrody — wysoka wariancja gradientów prowadzi do niestabilnego lub zbieżnego powoli treningu.

Wymagania sprzętowe

RFT wymaga jednoczesnego utrzymywania modelu aktora, krytyka i modelu referencyjnego (SFT baseline) w pamięci — typowo 4-8× A100/H100 dla modeli 7-70B.