Architektura
RoPE
2021Aktualizacja: 4 maja 2026
Mechanizm pozycyjny uzywany w Transformerach: koduje wzgledna pozycje tokenow przez rotacje wektorow Q i K. Stosowany w LLaMA, Mistral, DBRX, Qwen i wielu innych modelach.
Kluczowa
innowacja
Koduje pozycje tokenow przez rotacje wektorow w przestrzeni zespolonej, co umozliwia naturalna ekstrapolacje do dluzszych sekwencji niz widziane w trakcie treningu.
Kategoria
Architektura
Poziom abstrakcji
Primitive