DBRX MoE-A

DBRX MoE-A to najmniejszy czlon rodziny DBRX: wewnetrzny model badawczy Databricks z 7.7 mld parametrow lacznie i 2.2 mld aktywnych. Nie zostal opublikowany publicznie — sluzy do badan efektywnosci treningu architektur Mixture of Experts (MoE) i walidacji koncowej recepty treningowej DBRX.

Cel modelu

DBRX MoE-A jest punktem porownawczym wobec MPT-7B (modelu Databricks/Mosaic z maja 2023). Wyniki maja pokazac, jak nowy stos treningowy DBRX (architektura MoE, lepsze dane, lepszy tokenizer GPT-4) poprawia efektywnosc treningu wzgledem dense modeli klasy 7B.

Wyniki

Na Databricks Model Gauntlet v0.3 osiaga 30.5% — wynik zblizony do MPT-7B (30.9%), ale przy 3.7x mniejszym koszcie obliczeniowym (FLOPs). Pokazuje to, ze cala recepta treningowa rodziny DBRX jest okolo 4x bardziej compute-efficient niz pipeline MPT z poprzedniej generacji.

Status

Model nie jest dostepny publicznie ani na Hugging Face. Wagi i checkpointy pozostaja w wewnetrznym uzytku Databricks. W publicznym blogu DBRX (marzec 2024) wymieniony tylko jako artefakt walidacyjny pipeline'u treningowego.