LiveBench: A Challenging, Contamination-Free LLM Benchmark
🧪 Evaluación, observabilidad y seguridad
Evaluación de modelos, pruebas de prompts, observabilidad, barreras de seguridad y red teaming
Todo 1040🧠 Modelos de lenguaje 24🤖 Agentes de IA 159🧩 Plataformas de desarrollo de apps 23📚 RAG y bases de conocimiento 47💬 Interfaces de chat y clientes 41🖥️ Inferencia y despliegue local 87👨💻 Programación con IA 97🛠️ Frameworks y SDK 46🔌 MCP y ecosistema de herramientas 36🎨 Generación de imágenes 26🎬 Generación de vídeo 17🎙️ Voz y audio 45👁️ Visión por computador 26📄 Análisis de documentos y scraping 25🗄️ Bases de datos vectoriales 25🏋️ Entrenamiento, ajuste fino y MLOps 71🧪 Evaluación, observabilidad y seguridad 79🚪 Pasarelas y proxies de API 12🔎 Búsqueda e investigación profunda 16⚙️ Bibliotecas de aprendizaje profundo 57🏷️ Datos y anotación 32🔬 IA para industria y ciencia 33⚡ Herramientas de productividad 16
Trained models & code to predict toxic comments on all 3 Jigsaw Toxic Comment Challenges. Built using ⚡ Pytorch Lightning and 🤗 Transformers.
Readymade evaluators for your LLM apps
The nnsight package enables interpreting and manipulating the internals of deep learned models.
Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
Cut AI context cost without trusting the compressor. Every reduction is reversible, byte-exact recoverable, and carries an auditable receipt. Local-first, works through proxy, MCP, SDK, or agent wrapper.
Microsoft’s generated AI risk identification open source automation framework.