LLMKube logo

LLMKube

266 星 Apache-2.0 许可证 Go

用于 LLM 推理的 Kubernetes operator,支持可插拔运行时(llama.cpp、vLLM、TGI、Ollama、vllm-swift)、多 GPU 分片、NVIDIA CUDA + Apple Silicon Metal 支持,以及 OpenAI 兼容 API。

分类

开发

最后更新

2026年11月

相关 开发 应用