LLMKube logo

LLMKube

266 étoiles Apache-2.0 licence Go

Opérateur Kubernetes pour l’inférence de LLM avec runtimes modulaires (llama.cpp, vLLM, TGI, Ollama, vllm-swift), partitionnement multi-GPU, prise en charge de NVIDIA CUDA et d’Apple Silicon Metal, et API compatible OpenAI.

Catégorie

Développeur

Dernière mise à jour

novembre 2026

Applications Développeur similaires