LiveBench: A Challenging, Contamination-Free LLM Benchmark
🧪 Avaliação, observabilidade e segurança
Avaliação de modelos, testes de prompts, observabilidade, guardrails e red teaming
Todos 1040🧠 Grandes modelos de linguagem 24🤖 Agentes de IA 159🧩 Plataformas de desenvolvimento de apps 23📚 RAG e bases de conhecimento 47💬 Interfaces de chat e clientes 41🖥️ Inferência e implantação local 87👨💻 Programação com IA 97🛠️ Frameworks e SDKs 46🔌 MCP e ecossistema de ferramentas 36🎨 Geração de imagens 26🎬 Geração de vídeo 17🎙️ Voz e áudio 45👁️ Visão computacional 26📄 Análise de documentos e scraping 25🗄️ Bancos de dados vetoriais 25🏋️ Treinamento, ajuste fino e MLOps 71🧪 Avaliação, observabilidade e segurança 79🚪 Gateways e proxies de API 12🔎 Busca e pesquisa profunda 16⚙️ Bibliotecas de deep learning 57🏷️ Dados e anotação 32🔬 IA para indústria e ciência 33⚡ Ferramentas de produtividade 16
Trained models & code to predict toxic comments on all 3 Jigsaw Toxic Comment Challenges. Built using ⚡ Pytorch Lightning and 🤗 Transformers.
Readymade evaluators for your LLM apps
The nnsight package enables interpreting and manipulating the internals of deep learned models.
Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
Cut AI context cost without trusting the compressor. Every reduction is reversible, byte-exact recoverable, and carries an auditable receipt. Local-first, works through proxy, MCP, SDK, or agent wrapper.
Microsoft’s generated AI risk identification open source automation framework.