La plataforma de aprendizaje automático integral de Google, con un ecosistema completo.
tiktoken
OpenAI 模型使用的快速 BPE 分词器。
- Repositorio
- openai/tiktoken
- Estrellas
- ★ 19.476
- Forks
- 1647
- Lenguaje
- Python
- Licencia
- MIT
- Última actualización
- 2026-08-17
- Visitas
- 0
Tokenización
Proyectos similares
Interfaz unificada para decenas de miles de modelos preentrenados que cubren texto, imágenes, audio y tareas multimodales.
Framework de aprendizaje profundo con grafos de cómputo dinámicos, la opción principal tanto en investigación como en la industria.
La biblioteca clásica de aprendizaje automático de Python: sencilla y eficiente.
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。