A plataforma de aprendizado de máquina de ponta a ponta do Google, com um ecossistema completo.
tiktoken
OpenAI 模型使用的快速 BPE 分词器。
- Categoria
- ⚙️ Bibliotecas de deep learning
- Repositório
- openai/tiktoken
- Estrelas
- ★ 19.476
- Forks
- 1.647
- Linguagem
- Python
- Licença
- MIT
- Última atualização
- 2026-08-17
- Visitas
- 0
Tokenização
Projetos semelhantes
Interface unificada para dezenas de milhares de modelos pré-treinados que cobrem texto, imagens, áudio e tarefas multimodais.
Framework de deep learning com grafos de computação dinâmicos, a escolha predominante na pesquisa e na indústria.
A biblioteca clássica de aprendizado de máquina do Python: simples e eficiente.
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。