LLMKube logo

LLMKube

266 sterren Apache-2.0 licentie Go

Kubernetes-operator voor LLM-inferentie met inwisselbare runtimes (llama.cpp, vLLM, TGI, Ollama, vllm-swift), sharding over meerdere GPU's, ondersteuning voor NVIDIA CUDA + Apple Silicon Metal en een OpenAI-compatibele API.

Categorie

Ontwikkeling

Laatste update

november 2026

Gerelateerde Ontwikkeling Apps