FlashInfer

Ollama

Destacado

Ejecuta Llama, Qwen, DeepSeek y otros modelos grandes en local con un comando, con biblioteca de modelos y API compatible con OpenAI incluidas.

llama.cpp

Destacado

Motor de inferencia de LLM en C/C++ puro, compatible con CPU, GPU y Apple Silicon y cuantización GGUF, con servidor compatible con OpenAI incluido.

vLLM

Destacado

Motor de inferencia y servicio de LLM de alto rendimiento y bajo consumo de memoria, con PagedAttention como técnica central.