A plataforma de aprendizado de máquina de ponta a ponta do Google, com um ecossistema completo.
Tokenizers
极速的现代分词器实现。
- Categoria
- ⚙️ Bibliotecas de deep learning
- Repositório
- huggingface/tokenizers
- Estrelas
- ★ 11.181
- Forks
- 1.227
- Linguagem
- Rust
- Licença
- Apache-2.0
- Última atualização
- 2026-10-15
- Visitas
- 0
Tokenização
Projetos semelhantes
Interface unificada para dezenas de milhares de modelos pré-treinados que cobrem texto, imagens, áudio e tarefas multimodais.
Framework de deep learning com grafos de computação dinâmicos, a escolha predominante na pesquisa e na indústria.
A biblioteca clássica de aprendizado de máquina do Python: simples e eficiente.
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。