La plataforma de aprendizaje automático integral de Google, con un ecosistema completo.
Tokenizers
极速的现代分词器实现。
- Repositorio
- huggingface/tokenizers
- Estrellas
- ★ 11.181
- Forks
- 1227
- Lenguaje
- Rust
- Licencia
- Apache-2.0
- Última actualización
- 2026-10-15
- Visitas
- 0
Tokenización
Proyectos similares
Interfaz unificada para decenas de miles de modelos preentrenados que cubren texto, imágenes, audio y tareas multimodales.
Framework de aprendizaje profundo con grafos de cómputo dinámicos, la opción principal tanto en investigación como en la industria.
La biblioteca clásica de aprendizaje automático de Python: sencilla y eficiente.
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。