Linear Attention
Jak działa
1) Wybierz funkcję jądrową φ(·) (np. ELU+1, kosinusowa, losowe cechy ortogonalne FAVOR+) — ważne, by była nieujemna. 2) Zamiast obliczać A = softmax(QKᵀ) i A·V, wykonaj φ(K)ᵀV (kształt d×d), a następnie φ(Q) · (φ(K)ᵀV). 3) Mianownik normalizujący to φ(Q)·Σ φ(K). 4) W trybie autoregresywnym utrzymuj kumulowany stan S_t = S_{t−1} + φ(k_t)v_tᵀ oraz z_t = z_{t−1} + φ(k_t); odpowiedź: y_t = (φ(q_t)ᵀ S_t) / (φ(q_t)ᵀ z_t). 5) W trybie treningowym używa się postaci równoległej (chunkwise / blockwise) by wykorzystać GPU i zachować paralelizm po sekwencji.
Rozwiązany problem
Klasyczna uwaga skalowanego iloczynu skalarnego ma złożoność czasową i pamięciową O(n²) względem długości sekwencji, co czyni ją niepraktyczną dla bardzo długich kontekstów oraz drogą w autoregresywnej inferencji. Linear Attention przełamuje tę barierę kwadratową, umożliwiając trening i inferencję na długich sekwencjach przy zachowaniu paralelizmu treningowego i z rekurencyjną inferencją w stałej pamięci.
Komponenty
Nieujemna funkcja stosowana niezależnie do zapytań i kluczy; jej dobór determinuje wyrazistość i stabilność. Typowe wybory: ELU+1, kosinusowa, FAVOR+ (ortogonalne losowe cechy).
Oficjalna
Macierz akumulująca outer-products φ(k_t)v_tᵀ; pełni rolę „pamięci" w trybie autoregresywnym.
Wektor sumujący φ(k_t) służący do normalizacji wyjścia w sposób analogiczny do mianownika softmaxa.
Oficjalna
Implementacja
Suma φ(K) może dążyć do zera lub bardzo małych wartości na początku sekwencji, prowadząc do dzielenia przez prawie zero.
Czysta liniowa atencja ma trudności z precyzyjnym przypominaniem długoterminowym, ponieważ stan jest ściskaną sumą.
Niewłaściwe φ pogarsza ekspresywność lub stabilność treningu.
Ewolucja
Wprowadzenie jądrowej formy uwagi z φ = ELU+1; pokazanie równoważności z RNN w trybie autoregresywnym.
Aproksymacja softmaxa przez ortogonalne losowe cechy; teoretyczne gwarancje błędu.
Hybryda formy równoległej i rekurencyjnej z eksponencjalnym zanikiem; pokazana skalowalność do dużych modeli językowych.
Praca „Transformers are SSMs" pokazuje, że selektywne SSM i liniowa atencja są dwiema stronami tej samej dualności macierzy strukturalnych.
Wzbogacenie liniowej atencji o regułę delta i bramkowanie; znacząca poprawa retrieval i długiego kontekstu.
Hiperparametry (konfigurowalne osie)
Wybór nieujemnej funkcji aproksymującej softmax.
Wymiar przestrzeni po przemapowaniu φ; wpływa na pojemność stanu i koszt obliczeń.
Rozmiar bloku w formie chunkwise — kompromis między paralelizmem a pamięcią.
Czy używać dzielenia przez Σ φ(K) (normalizacja typu softmax) czy wariantu nienormalizowanego.
Złożoność obliczeniowa
Złożoność czasowa: O(n · d²). Złożoność przestrzenna: O(d²).
Wąskie gardło obliczeniowe
Główny koszt to akumulacja stanu φ(k_t)v_tᵀ i jego rzut przez φ(q_t). Dominuje on dla małego n; dla bardzo dużego n zysk względem softmaxa rośnie.
Paradygmat wykonania
Wszystkie tokeny biorą udział w aktualizacji stanu rekurencyjnego.
Linear Attention nie posiada routingu. Mechanizmy bramkujące/delta dodawane są w wariantach (np. Gated Linear Attention, DeltaNet).
Równoległość
Trening jest paralelizowany po blokach sekwencji; inferencja korzysta z formy rekurencyjnej.
Wymagania sprzętowe
Forma chunkwise mapuje się na duże matmule wykorzystujące Tensor Cores; brak quadratic attention zmniejsza zużycie pamięci HBM.
Liniowa skalowalność i regularne wzorce dostępu sprzyjają systolicznym macierzom MAC.
Możliwa inferencja autoregresywna (stan o stałym rozmiarze), ale przepustowość ograniczona przez obliczenia φ.