LiveBench: A Challenging, Contamination-Free LLM Benchmark
🧪 Оценка, наблюдаемость и безопасность
Оценка моделей, тестирование промптов, наблюдаемость, защитные ограничения и red teaming
Все 1040🧠 Большие языковые модели 24🤖 ИИ-агенты 159🧩 Платформы разработки приложений 23📚 RAG и базы знаний 47💬 Чат-интерфейсы и клиенты 41🖥️ Локальный инференс и развёртывание 87👨💻 ИИ для программирования 97🛠️ Фреймворки и SDK 46🔌 MCP и экосистема инструментов 36🎨 Генерация изображений 26🎬 Генерация видео 17🎙️ Речь и аудио 45👁️ Компьютерное зрение 26📄 Разбор документов и парсинг 25🗄️ Векторные базы данных 25🏋️ Обучение, дообучение и MLOps 71🧪 Оценка, наблюдаемость и безопасность 79🚪 API-шлюзы и прокси 12🔎 Поиск и глубокие исследования 16⚙️ Библиотеки глубокого обучения 57🏷️ Данные и разметка 32🔬 ИИ для отраслей и науки 33⚡ Инструменты для повышения продуктивности 16
Trained models & code to predict toxic comments on all 3 Jigsaw Toxic Comment Challenges. Built using ⚡ Pytorch Lightning and 🤗 Transformers.
Readymade evaluators for your LLM apps
The nnsight package enables interpreting and manipulating the internals of deep learned models.
Dingo: A Comprehensive AI Data, Model and Application Quality Evaluation Tool
Cut AI context cost without trusting the compressor. Every reduction is reversible, byte-exact recoverable, and carries an auditable receipt. Local-first, works through proxy, MCP, SDK, or agent wrapper.
Microsoft’s generated AI risk identification open source automation framework.