LLMKube logo

LLMKube

266 stelle Apache-2.0 licenza Go

Operatore Kubernetes per l'inferenza LLM con runtime pluggable (llama.cpp, vLLM, TGI, Ollama, vllm-swift), sharding multi-GPU, supporto NVIDIA CUDA + Apple Silicon Metal e API compatibile con OpenAI.

Categoria

Sviluppo

Ultimo aggiornamento

novembre 2026

App Sviluppo correlate