La plateforme de machine learning de bout en bout de Google, avec un écosystème complet.
tiktoken
OpenAI 模型使用的快速 BPE 分词器。
- Catégorie
- ⚙️ Bibliothèques de deep learning
- Dépôt
- openai/tiktoken
- Étoiles
- ★ 19 476
- Forks
- 1 647
- Langage
- Python
- Licence
- MIT
- Dernière mise à jour
- 2026-08-17
- Visites
- 0
Tokenisation
Projets similaires
Interface unifiée pour des dizaines de milliers de modèles pré-entraînés couvrant le texte, l’image, l’audio et le multimodal.
Framework de deep learning à graphes de calcul dynamiques, choix dominant dans la recherche comme dans l’industrie.
La bibliothèque classique de machine learning de Python : simple et efficace.
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。