LLMKube logo

LLMKube

266 Sterne Apache-2.0 Lizenz Go

Kubernetes-Operator für LLM-Inferenz mit austauschbaren Laufzeitumgebungen (llama.cpp, vLLM, TGI, Ollama, vllm-swift), Multi-GPU-Sharding, NVIDIA CUDA- und Apple-Silicon-Metal-Unterstützung sowie OpenAI-kompatibler API.

Kategorie

Entwickler

Letztes Update

November 2026

Ähnliche Entwickler Apps