Higress (Alibaba)

Ollama

Destaque

Execute Llama, Qwen, DeepSeek e outros grandes modelos localmente com um comando, com biblioteca de modelos e API compatível com OpenAI integradas.

llama.cpp

Destaque

Motor de inferência de LLM em C/C++ puro, com suporte a CPU, GPU e Apple Silicon e quantização GGUF, além de servidor compatível com OpenAI integrado.

vLLM

Destaque

Motor de inferência e serving de LLM de alta taxa de transferência e baixo uso de memória, tendo o PagedAttention como técnica central.