Qwen3-32B

Qwen3-32B to największy gęsty (dense) model językowy w rodzinie Qwen3 opracowanej przez zespół Qwen w Alibaba Cloud, udostępniony 29 kwietnia 2025 roku na licencji Apache 2.0.

Architektura

Model ma 32,8 mld parametrów (31,2 mld bez warstwy embeddingów) i 64 warstwy transformera z dekoderem. Wykorzystuje Grouped Query Attention w konfiguracji 64 głowic zapytań (Q) i 8 głowic klucz/wartość (KV), SwiGLU, rotacyjne osadzenia pozycji (RoPE), RMSNorm z prenormalizacją oraz QK-Norm. W stosunku do Qwen2 usunięto bias w projekcjach QKV. Model natywnie obsługuje kontekst 32 768 tokenów, rozszerzalny do 131 072 tokenów metodą YaRN.

Tryby myślenia

Cechą charakterystyczną Qwen3 jest hybrydowy tryb pracy: tryb myślenia (thinking) do złożonego rozumowania, matematyki i kodowania oraz tryb bez myślenia (non-thinking) do szybkiego dialogu. Tryby można przełączać dynamicznie w zależności od zapytania lub szablonu rozmowy.

Trening

Model wstępnie wytrenowano na około 36 bilionach tokenów obejmujących 119 języków i dialektów, a następnie poddano wieloetapowemu post-treningowi (SFT z długimi łańcuchami rozumowania oraz uczenie ze wzmocnieniem). Qwen3-32B ma silne zdolności agentowe i integracji z narzędziami zewnętrznymi. Wagi udostępniono na licencji Apache 2.0.