Infinity is a high-throughput, low-latency serving engine for text-embeddings, reranking models, clip, clap and colpali
🖥️ ローカル推論とデプロイ
Ollama、llama.cpp、vLLM：ローカルから本番環境までのモデル推論
すべて 1045🧠 大規模言語モデル 24🤖 AI エージェント 161🧩 アプリ開発プラットフォーム 22📚 RAG とナレッジベース 48💬 チャット UI とクライアント 40🖥️ ローカル推論とデプロイ 88👨💻 AI コーディング 98🛠️ 開発フレームワークと SDK 47🔌 MCP とツールエコシステム 36🎨 画像生成 26🎬 動画生成 17🎙️ 音声とオーディオ 45👁️ コンピュータビジョン 26📄 ドキュメント解析とスクレイピング 25🗄️ ベクトルデータベース 25🏋️ 学習・ファインチューニングと MLOps 71🧪 評価・可観測性・安全性 79🚪 API ゲートウェイとプロキシ 12🔎 検索とディープリサーチ 15⚙️ ディープラーニング基盤ライブラリ 58🏷️ データとアノテーション 32🔬 業界・研究向け AI 34⚡ 効率化ツール 16
Mirage Persistent Kernel: Compiling LLMs into a MegaKernel
MII makes low-latency and high-throughput inference possible, powered by DeepSpeed.
Large-scale LLM inference engine
TT-NN operator library, and TT-Metalium low level kernel programming model.
Fast Multimodal LLM on Mobile Devices
A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.
Self-hosted LLM router with a managed safety net. OpenAI-compatible. BYOK. Single-workspace. Streaming. For more advanced routing choose hosted OrcaRouter
RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.
WebAssembly binding for llama.cpp - Enabling on-browser LLM inference
[NeurIPS'24 Spotlight, ICLR'25, ICML'25] To speed up Long-context LLMs' inference, approximate and dynamic sparse calculate the attention, which reduces inference latency by up to 10x for pre-filling on an A100 while mai
A FastAPI service for semantic text search using precomputed embeddings and advanced similarity measures, with built-in support for various file types through textract.
RAFT contains fundamental widely-used algorithms and primitives for machine learning and information retrieval. The algorithms are CUDA-accelerated and form building blocks for more easily writing high performance applic
Kubernetes AI Toolchain Operator
Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton
QA-Pilot is an interactive chat project that leverages online/local LLM for rapid understanding and navigation of GitHub code repository.