Qwen3-14B

Qwen3-14B to post-trenowany (instruct) model językowy z rodziny Qwen3 opracowany przez Qwen Team w Alibaba Group i opublikowany 29 kwietnia 2025 r. na licencji Apache 2.0. Jest to gęsty model (dense) o 14,8 mld parametrów (13,2 mld bez embeddingów), zbudowany na 40 warstwach Transformer z GQA (40 głów Q, 8 głów KV). Model wchodzi w skład serii Qwen3, obejmującej modele gęste 0,6B–32B oraz MoE 30B–235B.

Hybrydowy tryb myślenia

Kluczową cechą Qwen3 jest obsługa dwóch trybów w ramach jednego modelu: tryb myślenia (thinking mode, enable_thinking=True) — model generuje rozumowanie krok po kroku wewnątrz bloku <think>…</think>, a następnie finalną odpowiedź; oraz tryb non-thinking (enable_thinking=False) — odpowiedź bezpośrednia, bez jawnego rozumowania. Tryb można zmieniać dynamicznie przez flagi /think i /no_think w promptcie lub parametr enable_thinking w chat template. Dla trybu myślenia zalecane: Temperature=0,6, TopP=0,95, TopK=20. Dla trybu non-thinking: Temperature=0,7, TopP=0,8, TopK=20.

Architektura i pretrening

Architektura opiera się na Transformerze z GQA, SwiGLU, RoPE i RMSNorm, z dodanym QK-Norm dla stabilności treningu i bez QKV-bias. Model obsługuje 32K tokenów kontekstu natywnie, rozszerzalne do 131 072 przez YaRN (w praktyce prezentowane jako 128K). Pretrening objął ok. 36 bilionów tokenów w trzech etapach: bazowy (ok. 30T), etap wzmocnienia STEM/kodu (ok. 5T) oraz etap długiego kontekstu.

Post-trening

Post-trening Qwen3 obejmował 4 etapy: (1) Long-CoT cold start — fine-tuning na danych chain-of-thought z matematyki, kodu i STEM; (2) Reasoning RL — reinforcement learning z regułowymi nagrodami (GRPO); (3) Thinking Mode Fusion — integracja trybu non-thinking przez SFT na danych mixed CoT + instrukcje; (4) General RL — RL na 20+ ogólnych zadaniach (instruction following, format, agent). Mniejsze modele gęste były częściowo trenowane przez dystylację wiedzy (strong-to-weak) od większych modeli Qwen3.

Wielojęzyczność i możliwości agentowe

Model obsługuje 119 języków i dialektów, obejmujących rodziny indoeuropejskie, sinotybetańskie, afroazjatyckie, austronezyjskie i inne. W zakresie zastosowań agentowych Qwen3-14B integruje się z zewnętrznymi narzędziami przez MCP (Model Context Protocol), obsługując wywoływanie funkcji zarówno w trybie myślenia, jak i non-thinking. Zalecanym frameworkiem agentowym jest Qwen-Agent.