Robocikowo>ROBOCIKOWO
Llama 3.1 405B
Modele AI›Llama

Llama 3.1 405B

3.1 405B · Rodzina: Llama
Otwartowagowy, gęsty model językowy Meta AI o 405 mld parametrów, oknie kontekstu 128K tokenów i obsłudze narzędzi, wydany 23 lipca 2024.
✓ Aktywny✓ Publiczny dostęp⚖ Open weightsLLMModel używający narzędzi📁 Llama
Okno kontekstowe
128K tokenów
tokenów
Parametry
405B
parametrów
Data premiery
23 lipca 2024
🏢Meta AIProducent
Dostęp:APIDownloadWdrożenie:☁ Cloud💻 Lokalnie

Przegląd

Llama 3.1 405B to największy i najzdolniejszy gęsty (dense) model językowy w rodzinie Llama 3.1, opracowany przez Meta AI i wydany 23 lipca 2024 roku jako model otwartowagowy (open-weights) na licencji Llama 3.1 Community License.

Specyfikacja

Model ma 405 miliardów parametrów. Okno kontekstowe: 128 000 tokenów. Graniczna data wiedzy: grudzień 2023. Obsługuje użycie narzędzi (tool use) oraz fine-tuning. Dostępny w wariancie bazowym (pre-trained) oraz instruction-tuned (Llama 3.1 405B Instruct).

Wyniki benchmarków (Instruct)

Według oficjalnego model card Meta na Hugging Face: MMLU 88,6% (5-shot), MMLU-Pro 73,3%, GPQA 50,7% (0-shot), MATH 73,8% (0-shot CoT), HumanEval 89,0% (0-shot Pass@1), GSM8K 96,8%, DROP 84,8% (3-shot F1, pre-trained base).

Dostępność

Wagi dostępne publicznie na Hugging Face (meta-llama/Llama-3.1-405B oraz -Instruct). Model można uruchomić lokalnie (wymaga klastra GPU klasy datacenter, np. NVIDIA H100/A100) lub korzystać poprzez dostawców API (m.in. Meta, Azure AI, AWS, Google Cloud, Databricks, Groq, Together AI).

Klasyfikacja
LLMModel używający narzędzi
Rodzina: Llama
Dostęp i wdrożenie
APIPobieranie
ChmuraLokalnie
Wagi: Open weights
Kluczowe parametry
📏 Kontekst: 128K tokenów
🧩 Parametry: 405B
✓ Narzędzia · ✓ Fine-tuning
📥 Wejście: tekst, obraz

Specyfikacja techniczna

Okno kontekstowe
128K tokenów
tokenów
Parametry
405B
parametrów
Licencja
Llama 3.1 Community License
Wymagania sprzętowe
Brak oficjalnych minimalnych wymagań. Uruchamianie lokalne wymaga klastra GPU klasy datacenter (np. NVIDIA H100 / A100).
Funkcje:✓ Używanie narzędzi✓ Fine-tuning
Modalności
⬇ Wejście (Input)
textimage
⬆ Wyjście (Output)
textcodestructured_data

Możliwości i zastosowania

Natywne możliwości modelu
Rozumowanie
Zdolność modelu do logicznego wnioskowania i rozwiązywania złożonych problemów.
Kategoria: reasoning
Rozumowanie wieloetapowe
Prowadzenie wieloetapowego toku rozumowania w długich, złożonych zadaniach.
Kategoria: reasoning
Długi kontekst
Utrzymanie spójności i uwagi w bardzo długim kontekście wejściowym.
Kategoria: language
Programowanie
Generowanie, analiza i modyfikacja kodu źródłowego.
Kategoria: coding
Wywoływanie funkcji
Natywne wsparcie dla ustrukturyzowanego wykorzystania narzędzi, umożliwiające przepływy pracy oparte na agentach.
Kategoria: planning
Wyjście strukturyzowane
Generowanie danych w ustrukturyzowanych formatach, np. JSON.
Kategoria: structured_generation
Rozumienie obrazu
Analiza i interpretacja treści obrazów.
Kategoria: vision
Rozumienie wykresów
Odczyt i interpretacja wykresów, tabel i diagramów.
Kategoria: vision
OCR
Rozpoznawanie tekstu na obrazach i w dokumentach.
Kategoria: vision
Wielojęzyczność
Rozumienie i generowanie tekstu w wielu językach.
Kategoria: language
Planowanie
Tworzenie i realizacja planów działania dla złożonych zadań.
Kategoria: planning
Wyjście strumieniowe
Wiadomości strumieniowe umożliwiają pobieranie treści w czasie rzeczywistym, gdy model generuje odpowiedzi, bez czekania na wygenerowanie całej odpowiedzi. Takie podejście może znacząco poprawić doświadczenie użytkownika, zwłaszcza podczas tworzenia długich treści tekstowych, ponieważ użytkownicy mogą od razu zobaczyć, że odpowiedź zaczyna się pojawiać.
Kategoria: reasoning

Wyniki benchmarków

7 benchmarków
MMLU
88.6
📄 Meta AI – Llama 3.1 Technical Report
GSM8K
96.8
📄 Meta AI – Llama 3.1 Technical Report
HumanEval
89.0
📄 Meta AI – Llama 3.1 Technical Report
MATH
73.8
📄 Meta AI – Llama 3.1 Technical Report
GPQA
0-shot accuracy · Instruction-tuned model (Llama 3.1 405B Instruct), 0-shot
50.7%
📄 Meta Llama 3.1 model card (Hugging Face), July 2024
MMLU-Pro
5-shot accuracy · Instruction-tuned model, 5-shot
73.3%
📄 Meta Llama 3.1 model card (Hugging Face), July 2024
DROP
3-shot F1 · Pre-trained base model (Llama 3.1 405B Base)
84.8%
📄 IBM analysis referencing Meta Llama 3.1 model card, July 2024
Wynik dotyczy modelu bazowego (pre-trained), nie instruction-tuned.

Źródła i powiązane strony