Llama 3.1 8B

3.1 8B · Rodzina: Llama

Otwarty model językowy Meta z 8 mld parametrów, architektura Transformer z GQA, okno kontekstu 128K, wielojęzyczny.

✓ Aktywny✓ Publiczny dostęp⚖ Open weightsLLM📁 Llama

Okno kontekstowe

128K

tokenów

Parametry

parametrów

Data premiery

23 lipca 2024

🏢Meta AIProducent

Dostęp:DownloadAPIHostedWdrożenie:💻 Lokalnie☁ Cloud📱 Na urządzeniu

Przegląd

Llama 3.1 8B to otwarty (open-weight) model językowy opracowany przez Meta, wydany 23 lipca 2024 roku jako część rodziny Llama 3.1. Jest to autoregresyjny model oparty na architekturze Transformer typu decoder-only, z 8 miliardami parametrów. Model wytrenowano na około 15 bilionach tokenów pochodzących z publicznie dostępnych danych, a jego wiedza obejmuje okres do grudnia 2023 roku.

Architektura wykorzystuje Grouped-Query Attention (GQA) dla wydajniejszej inferencji: 32 warstwy, wymiar ukryty 4096, 32 głowice uwagi i 8 głowic klucz-wartość (head_dim 128). Warstwa FFN o wymiarze 14336 stosuje aktywację SwiGLU, normalizacja to RMSNorm, a kodowanie pozycji opiera się na RoPE (theta 500000) ze skalowaniem typu llama3. Słownik liczy 128256 tokenów, a długość kontekstu wynosi 128K (131072 pozycje). Model jest wielojęzyczny: oficjalnie wspiera angielski, niemiecki, francuski, włoski, portugalski, hindi, hiszpański i tajski.

Wagi modelu są udostępniane na licencji Llama 3.1 Community License, która zezwala na zastosowania komercyjne z określonymi ograniczeniami. Model bazowy (pretrained) można pobrać i uruchamiać lokalnie, w chmurze lub na urządzeniu, a także dostrajać (fine-tuning). W wariancie BF16 wymaga około 16 GB pamięci VRAM, natomiast po kwantyzacji (np. 4-bit) działa na consumerowych kartach GPU i wydajnych laptopach.

Klasyfikacja

LLM

Rodzina: Llama

Dostęp i wdrożenie

PobieranieAPIHostowane

LokalnieChmuraNa urządzeniu

Wagi: Open weights

Kluczowe parametry

📏 Kontekst: 128K

🧩 Parametry: 8B

✓ Narzędzia · ✓ Fine-tuning

📥 Wejście: tekst

Specyfikacja techniczna

Okno kontekstowe

128K

tokenów

Parametry

parametrów

Knowledge cutoff

31 gru 2023

Data graniczna wiedzy

Licencja

Llama 3.1 Community License

Wymagania sprzętowe

~16 GB VRAM w BF16; z kwantyzacją 4-bit działa na consumerowych GPU (8-12 GB) i wydajnych laptopach.

Funkcje:✓ Używanie narzędzi✓ Fine-tuning

Modalności

⬇ Wejście (Input)

text

⬆ Wyjście (Output)

textcode

Możliwości i zastosowania

Natywne możliwości modelu

Modelowanie języka

Zdolność przewidywania kolejnych tokenów i generowania spójnego tekstu w języku naturalnym na podstawie poprzedzającego kontekstu.

Kategoria: language

Wielojęzyczność

Kompetencje w wielu językach naturalnych (od kilku do stu+): rozumienie, generowanie, tłumaczenie, code-switching w obrębie jednej rozmowy. Modele frontier obsługują szeroki wachlarz języków ze zbliżoną jakością.

Kategoria: language

Długi kontekst

Obsługa dużych okien kontekstowych — dziesiątek do setek tysięcy (lub milionów) tokenów wejścia. Umożliwia analizę całych baz kodu, długich dokumentów, wielu równolegle rozmów bez utraty wcześniejszych informacji. GPT-5.1 wspiera 400 000 tokenów.

Kategoria: language

Programowanie

Generowanie, analizowanie i modyfikowanie kodu w wielu językach programowania. Obejmuje pisanie funkcji, debugowanie, refaktoryzację, code review, tworzenie testów. Mierzone benchmarkami takimi jak HumanEval, SWE-bench.

Kategoria: coding

Generowanie danych syntetycznych

Generowanie syntetycznych zbiorów danych zachowujących statystyczne właściwości oryginału, używanych do uczenia modeli, testów i ochrony prywatności.

Kategoria: structured_generation

Wyniki benchmarków

6 benchmarków

MMLU

accuracy · 5-shot

66.7%