LiteLLM
Open-source (MIT) Python SDK i self-hosted proxy do ujednoliconego dostępu do 100+ dostawców LLM przez interfejs OpenAI. Router z retry i fallback, virtual keys, cost tracking, guardrails, observability, A2A + MCP gateway.
Dostępność regionalna·0 regionów
- Self-hosted (dowolny region klienta / any customer region)
Opis
LiteLLM to open-source Python library i self-hosted proxy (MIT License) udostępniające ujednolicony interfejs OpenAI do wywoływania ponad 100 dostawców LLM: OpenAI, Anthropic, Google Vertex AI, AWS Bedrock, Azure OpenAI, Groq, Together, Cohere, Mistral, Ollama, xAI, DeepSeek, Alibaba Qwen, Perplexity, Hugging Face i wielu innych. Stworzony przez BerriAI Inc. (YC W23), pierwsze wydanie w lipcu 2023, obecnie ~19-20 tys. gwiazdek na GitHubie i jeden z najczęściej używanych open-source projektów AI w Pythonie. Instalacja: uv add litellm lub pip install litellm. Proxy Server: uv tool install 'litellm[proxy]' lub Docker docker.litellm.ai/berriai/litellm:latest.
Dwa główne tryby użycia: (1) Python SDK - drop-in replacement dla klienta OpenAI. Kod pisany raz, przełączanie modeli przez zmianę stringu (model='openai/gpt-4o' → model='anthropic/claude-3-5-sonnet-20241022'). Wszystkie odpowiedzi w formacie OpenAI Chat Completions. Exception handling zmapowany na typy OpenAI (AuthenticationError, RateLimitError, APIError) - istniejący kod działa out of the box. (2) Proxy Server / LLM Gateway - self-hosted OpenAI-compatible gateway na porcie 4000. Klient (OpenAI SDK, LangChain, dowolny SDK OpenAI-compatible) łączy się do proxy zamiast bezpośrednio do dostawcy. Proxy obsługuje: virtual keys, cost tracking, guardrails, admin UI, load balancing.
Kluczowe funkcje enterprise: Router - retry, fallback i load balancing między wieloma deploymentami tego samego modelu (np. Azure GPT-4 East + Azure GPT-4 West + OpenAI direct); Virtual Keys - proxy generuje krótkotrwałe klucze per zespół/użytkownik z limitami budżetu i rate limitami; Cost Tracking - kalkulacja kosztu per request dla 100+ modeli, agregacja po tagach/kluczach/teamach z alertami; Observability - single-line integracje z Langfuse, MLflow, Helicone, Lunary, OpenTelemetry, PostHog, Datadog przez litellm.success_callback; Guardrails - PII masking, content filtering, prompt injection detection, custom callbacks. Admin UI - dashboard do monitoringu spend, users, keys, teams.
Agent i MCP Gateway: LiteLLM to nie tylko LLM proxy - jednym endpointem obsługuje LLMy, A2A (agent-to-agent) i MCP tools. A2A Agents - agent od dowolnego dostawcy jest wywoływany identycznie jak model LLM (przez completion() interface). MCP Gateway - centralny endpoint MCP z per-key access control, filtrowaniem tooli, audit logs. Eliminuje potrzebę osobnego agent gateway lub MCP gateway - LiteLLM konsoliduje warstwy. Wsparcie dla debug tool /utils/transform_request pokazującego dokładnie co LiteLLM wysyła do dostawcy (przydatne przy debugowaniu prompt formatting, headers, provider-specific params).
LiteLLM Enterprise: płatna warstwa dla produkcyjnego deploymentu enterprise. Zawiera: SSO/SAML (OneLogin, Okta, Auth0, Google Workspace, Azure AD/Microsoft Entra), advanced audit logs (immutable, per-request), hardened guardrails (fine-tuned PII masking, prompt injection detection), fine-grained RBAC i multi-team management, priority 24/7 support. Trust Center pod trust.litellm.ai z SOC 2 Type II i zgodnością GDPR. Docker registry Enterprise: docker.litellm.ai/berriai/litellm-enterprise. Konkurencja: OpenRouter (managed cloud + markup), Portkey, Vercel AI Gateway, Helicone AI Gateway. LiteLLM wygrywa self-hosted-first policy i szerokością wsparcia dostawców. Klienci enterprise: fintech, healthcare, government (potrzeba data residency + sovereign cloud + audit compliance).
MLOps LifecycleMLOps LifecyclePełny cykl życia modelu: rejestr, feature store, prompt management, monitoring i human-in-the-loop.
Rejestr modeli
Magazyn cech
Zarządzanie promptami
Monitoring
Human-in-the-Loop
Dane i wiedzaZarządzanie danymi i wiedząKonektory danych, integracja z bazami wektorowymi, native vector search i mechanizmy zarządzania danymi (PII, provenance, dane syntetyczne).
ZastosowaniaZastosowania AIDziedziny i scenariusze zastosowania, do których platforma jest najlepiej dopasowana – od RAG i fine-tuningu po zastosowania naukowe.
BezpieczeństwoBezpieczeństwo EnterpriseZestaw certyfikacji, kontroli dostępu oraz funkcji ochrony danych, kluczowych dla wdrożeń korporacyjnych i zachowania prywatności w chmurze.
Ekosystem deweloperskiEkosystem DeweloperskiZasoby wspierające programistów: dostępne biblioteki SDK, wspierane języki programowania oraz funkcje infrastrukturalne i metody wdrażania modeli.
Cennik i model biznesowyCennik i model biznesowyModele rozliczeń (usage-based, provisioned throughput), limity zasobów oraz parametry SLA (uptime, poziomy wsparcia).
Modele cenowe
Limity zasobów
SLA i wsparcie