Exécutez Llama, Qwen, DeepSeek et d’autres grands modèles en local avec une commande, avec bibliothèque de modèles et API compatible OpenAI intégrées.
Switchyard
Switchyard lets LLM applications route traffic across models and providers while preserving native OpenAI and Anthropic API compatibility - enabling flexible model selection, benchmarking, and cost/performance optimizati
- Catégorie
- 🖥️ Inférence et déploiement en local
- Dépôt
- NVIDIA-NeMo/Switchyard
- Étoiles
- ★ 3 393
- Forks
- 335
- Dernière mise à jour
- 2026-10-17
- Visites
- 0
Projets similaires
Moteur d’inférence LLM en C/C++ pur, compatible CPU, GPU et Apple Silicon avec quantification GGUF, et serveur compatible OpenAI intégré.
Moteur d’inférence et de serving LLM à haut débit et faible empreinte mémoire, dont PagedAttention est la technique centrale.
Never stop coding. Free MIT AI gateway: one endpoint, 359 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-awa
OpenAI 兼容的本地自托管 AI 引擎，一个服务同时支持文本、图像、语音与向量。
用家里闲置的手机、电脑和平板组成集群，一起运行大模型。