LLMKube logo

LLMKube

266 estrellas Apache-2.0 licencia Go

Operador de Kubernetes para inferencia de LLM con runtimes enchufables (llama.cpp, vLLM, TGI, Ollama, vllm-swift), particionamiento multi-GPU, compatibilidad con NVIDIA CUDA + Apple Silicon Metal y una API compatible con OpenAI.

Categoría

Desarrollo

Última actualización

noviembre de 2026

Aplicaciones Desarrollo relacionadas