Сквозная платформа машинного обучения от Google с развитой экосистемой.
tiktoken
OpenAI 模型使用的快速 BPE 分词器。
- Категория
- ⚙️ Библиотеки глубокого обучения
- Репозиторий
- openai/tiktoken
- Звёзды
- ★ 19 476
- Форки
- 1 647
- Язык
- Python
- Лицензия
- MIT
- Последнее обновление
- 2026-08-17
- Переходы
- 0
Токенизация
Похожие проекты
Единый интерфейс к десяткам тысяч предобученных моделей для текста, изображений, аудио и мультимодальных задач.
Фреймворк глубокого обучения с динамическими вычислительными графами — основной выбор и в науке, и в индустрии.
Классическая библиотека машинного обучения для Python: простая и эффективная.
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。