Google のエンドツーエンド機械学習プラットフォーム。エコシステムも充実。
tiktoken
OpenAI 模型使用的快速 BPE 分词器。
- リポジトリ
- openai/tiktoken
- スター
- ★ 19,476
- フォーク
- 1,647
- 言語
- Python
- ライセンス
- MIT
- 最終更新
- 2026-08-17
- アクセス数
- 0
トークン化
tiktoken OpenAI 模型使用的快速 BPE 分词器。
トークン化
Google のエンドツーエンド機械学習プラットフォーム。エコシステムも充実。
テキスト・画像・音声・マルチモーダルをカバーする数万の事前学習済みモデルへの統一インターフェース。
動的計算グラフを備えたディープラーニングフレームワーク。研究・産業の両方で主流の選択肢。
Python の定番機械学習ライブラリ。シンプルで効率的。
多后端（JAX / TF / PyTorch）的深度学习 API。
最简单快速的中型 GPT 训练与微调仓库。
