Google のエンドツーエンド機械学習プラットフォーム。エコシステムも充実。
Tokenizers
极速的现代分词器实现。
- リポジトリ
- huggingface/tokenizers
- スター
- ★ 11,184
- フォーク
- 1,229
- 言語
- Rust
- ライセンス
- Apache-2.0
- 最終更新
- 2026-10-18
- アクセス数
- 0
トークン化
Tokenizers 极速的现代分词器实现。
トークン化
Google のエンドツーエンド機械学習プラットフォーム。エコシステムも充実。
テキスト・画像・音声・マルチモーダルをカバーする数万の事前学習済みモデルへの統一インターフェース。
動的計算グラフを備えたディープラーニングフレームワーク。研究・産業の両方で主流の選択肢。
Python の定番機械学習ライブラリ。シンプルで効率的。
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。
