LiveBench: A Challenging, Contamination-Free LLM Benchmark
🧪 評価・可観測性・安全性
モデル評価、プロンプトテスト、可観測性、ガードレールとレッドチーミング
すべて 1040🧠 大規模言語モデル 24🤖 AI エージェント 159🧩 アプリ開発プラットフォーム 23📚 RAG とナレッジベース 47💬 チャット UI とクライアント 41🖥️ ローカル推論とデプロイ 87👨💻 AI コーディング 97🛠️ 開発フレームワークと SDK 46🔌 MCP とツールエコシステム 36🎨 画像生成 26🎬 動画生成 17🎙️ 音声とオーディオ 45👁️ コンピュータビジョン 26📄 ドキュメント解析とスクレイピング 25🗄️ ベクトルデータベース 25🏋️ 学習・ファインチューニングと MLOps 71🧪 評価・可観測性・安全性 79🚪 API ゲートウェイとプロキシ 12🔎 検索とディープリサーチ 16⚙️ ディープラーニング基盤ライブラリ 57🏷️ データとアノテーション 32🔬 業界・研究向け AI 33⚡ 効率化ツール 16
Trained models & code to predict toxic comments on all 3 Jigsaw Toxic Comment Challenges. Built using ⚡ Pytorch Lightning and 🤗 Transformers.
Readymade evaluators for your LLM apps
The nnsight package enables interpreting and manipulating the internals of deep learned models.
Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
Cut AI context cost without trusting the compressor. Every reduction is reversible, byte-exact recoverable, and carries an auditable receipt. Local-first, works through proxy, MCP, SDK, or agent wrapper.
Microsoft’s generated AI risk identification open source automation framework.