把整个网站转为适合 LLM 的 Markdown 或结构化数据的抓取 API。
DocETL (UC Berkeley)
A system for agentic LLM-powered data processing and ETL
- 仓库
- ucbepic/docetl
- Stars
- ★ 4,132
- Forks
- 450
- 语言
- Python
- 许可证
- MIT
- 最近更新
- 2026-10-09
- 访问次数
- 0
LLM
同类项目
百度飞桨的 OCR 工具库，百余种语言、PP-OCR 与文档解析一体。
把 PDF 等文档高质量转换为 Markdown / JSON，面向大模型语料。
IBM 开源的文档解析工具，PDF / Office 转结构化数据。
微软出品，把 Office、PDF 等文件转为 Markdown 供 LLM 使用。
🕷️ An adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/