DBRX Base

DBRX Base to bazowy pretrenowany model jezykowy z rodziny DBRX, opublikowany 27 marca 2024 roku przez Databricks na otwartej licencji Databricks Open Model License. W odroznieniu od DBRX Instruct nie zostal poddany instruction tuningowi — sluzy jako fundament do dalszego dostrajania (fine-tuning) lub kontynuacji treningu na wlasnych danych enterprise.

Architektura

DBRX Base to decoder-only Transformer z fine-grained Mixture of Experts (MoE): 132 mld parametrow lacznie, 36 mld aktywnych dla danego tokenu, 16 ekspertow z ktorych wybierane sa 4. Uzywa Rotary Position Encodings (RoPE), Gated Linear Units (GLU), Grouped Query Attention (GQA) i tokenizera GPT-4 z biblioteki tiktoken. Maksymalne okno kontekstu wynosi 32 768 tokenow.

Dane treningowe i koszt

DBRX Base byl pretrenowany na 12 bilionach tokenow starannie wyselekcjonowanych danych tekstowych i kodu, z curriculum learning (zmiennym mixem danych w czasie). Dane przetwarzano przez Apache Spark, Databricks Notebooks i Unity Catalog. Trening wykonano na 3072 GPU NVIDIA H100 polaczonych InfiniBand 3.2 Tbps, z uzyciem MegaBlocks, LLM Foundry, Composer i Streaming. Databricks szacuje, ze nowe dane sa co najmniej 2x lepsze token-na-token niz dane uzyte do pretreningu modeli MPT.

Zastosowanie

DBRX Base jest przeznaczony glownie dla zaawansowanych uzytkownikow: zespolow ML chcacych przeprowadzic wlasny instruction tuning, RLHF lub continued pretraining na danych domenowych. Dla typowych zastosowan dialogowych i instrukcyjnych Databricks rekomenduje DBRX Instruct.