CUDA

CUDA (Compute Unified Device Architecture) to platforma i model programowania równoległego GPU stworzony przez NVIDIA i wprowadzony w czerwcu 2007 wraz z architekturą Tesla (GeForce 8). Pierwotnie ogólny GPGPU stack, w ostatniej dekadzie stała się fundamentalną warstwą wykonawczą całego współczesnego AI: każdy nowoczesny LLM, model dyfuzyjny, framework ML (PyTorch, TensorFlow, JAX) i symulator robotyczny (Isaac Sim, Omniverse) działa na CUDA. Najnowsza wersja stabilna to CUDA 13.0 (wrzesień 2025).

Stack CUDA składa się z: (1) Driver API i Runtime API (C/C++) — niskopoziomowy interfejs do GPU, (2) kompilatora nvcc i języka CUDA C/C++ (rozszerzenie C++ o `__global__`, `__device__`, kernele i grid/block hierarchy), (3) bibliotek przyspieszonych: cuBLAS (BLAS), cuDNN (deep learning primitives), cuFFT, cuRAND, cuSPARSE, cuSOLVER, NCCL (multi-GPU collective comms), CUTLASS (template-based linear algebra), Thrust (parallel STL), (4) wyższych warstw: TensorRT (inference engine), Triton Inference Server, NVIDIA NeMo, Isaac, Omniverse, RAPIDS, Modulus.

Hardware: CUDA działa wyłącznie na GPU NVIDIA (od G80/Tesla po Hopper, Blackwell, Rubin), na całym spektrum — od consumer RTX po data-center H100/H200/B200, embedded Jetson i superchip Grace Hopper. CUDA jest zamknięta źródłowo (Driver i większość bibliotek), ale część kluczowych elementów (CUTLASS, cuDNN samples, OpenCL/cuBLAS headers) jest otwarta. Język wspierany natywnie: C/C++, Fortran, oficjalne bindings dla Python (CUDA Python, CuPy), Julia (CUDA.jl), Rust (cust). CUDA jest de-facto standardem akceleracji AI — alternatywy (ROCm AMD, OneAPI Intel, Metal Apple) istnieją, ale ekosystem CUDA jest największy.