Zbior danych SFT zawiera pary (prompt p, odpowiedz y). Strata to L = -sum log P(y_t | p, y_<t). Model jest trenowany gradientowo na tych parach, zazwyczaj z małą szybkoscia uczenia. Czesto stosuje sie techniki jak LoRA lub QLoRA, by ograniczyc koszty obliczeniowe. Dane moga pochodzic od ludzkich adnotatorow (jak FLAN, Dolly) lub byc syntetycznie generowane przez mocniejszy model.
Wstepnie wytrenowane modele sa dobre w uzupełnianiu tekstu, ale nie w podazaniu za instrukcjami uzytkownikow, odpowiadaniu na pytania w formacie czatu ani w generowaniu bezpiecznych i uzytecznych odpowiedzi.
Pary wejscie->pozadana odpowiedz (np. instrukcja i wzorcowa odpowiedz), przygotowane przez ludzi lub wyselekcjonowane.
Model po pretreningu, ktory jest dostrajany na danych demonstracji.
Oficjalna
Uczenie przez minimalizacje bledu predykcji nastepnego tokenu wzgledem wzorcowej odpowiedzi.
Oficjalna
Aktualizacja wag modelu (np. AdamW) na batchach danych demonstracji; czesto z technikami PEFT (np. LoRA).
Oficjalna
Fine-tuning wymaga GPU do obliczania gradientów na dużych modelach — minimum 1 GPU A100 80GB dla modeli 7B, multi-GPU dla modeli 70B+.
TPU v4/v5 używane przez Google i duże organizacje do SFT na modelach 100B+ dzięki wysokiej przepustowości HBM.
