サイト全体を LLM 向けの Markdown や構造化データに変換するスクレイピング API。
DocETL (UC Berkeley)
A system for agentic LLM-powered data processing and ETL
- リポジトリ
- ucbepic/docetl
- スター
- ★ 4,133
- フォーク
- 450
- 言語
- Python
- ライセンス
- MIT
- 最終更新
- 2026-10-09
- アクセス数
- 0
LLM
関連プロジェクト
百度 PaddlePaddle の OCR ツールキット。100 以上の言語、PP-OCR、ドキュメント解析を一つにまとめている。
PDF などの文書を高品質に Markdown／JSON へ変換。LLM 向けコーパス作りに最適。
IBM が公開したドキュメント解析ツール。PDF や Office ファイルを構造化データに変換する。
微软出品，把 Office、PDF 等文件转为 Markdown 供 LLM 使用。
🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/