LLMKube logo

LLMKube

266 estrelas Apache-2.0 licença Go

Operador do Kubernetes para inferência de LLM com runtimes plugáveis (llama.cpp, vLLM, TGI, Ollama, vllm-swift), sharding multi-GPU, suporte a NVIDIA CUDA + Apple Silicon Metal e API compatível com OpenAI.

Última atualização

novembro de 2026

Aplicativos Desenvolvimento relacionados