Ejecuta Llama, Qwen, DeepSeek y otros modelos grandes en local con un comando, con biblioteca de modelos y API compatible con OpenAI incluidas.
Magnitude
Open source inference engine that tunes its kernels on your hardware to find the fastest way to run each model. 2x faster than Ollama. Works on Apple Silicon, NVIDIA, AMD, or just a CPU.
- Categoría
- 🖥️ Inferencia y despliegue local
- Repositorio
- magnitudedev/magnitude
- Estrellas
- ★ 7049
- Forks
- 483
- Última actualización
- 2026-10-17
- Visitas
- 0
Proyectos similares
Motor de inferencia de LLM en C/C++ puro, compatible con CPU, GPU y Apple Silicon y cuantización GGUF, con servidor compatible con OpenAI incluido.
Motor de inferencia y servicio de LLM de alto rendimiento y bajo consumo de memoria, con PagedAttention como técnica central.
Never stop coding. Free MIT AI gateway: one endpoint, 359 providers (150+ free), 1200+ models Kimi, Claude, GPT, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-awa
OpenAI 兼容的本地自托管 AI 引擎，一个服务同时支持文本、图像、语音与向量。
用家里闲置的手机、电脑和平板组成集群，一起运行大模型。