unclecode/crawl4ai
Web crawler dan scraper open source yang dirancang untuk LLM dan AI agent: situs apa pun diubah jadi Markdown bersih siap olah. Bisa jalan lokal atau via cloud dengan satu key. Kenapa masuk daftar: 85 ribu bintang, update kemarin, bahan baku utama pipeline RAG.
Aktifcommit kemarin47 issue terbuka
Perintah instalasi yang terverifikasi untuk crawl4ai:
pip install -U crawl4aigit clone https://github.com/unclecode/crawl4ai.gitLihat review dan tutorial crawl4ai di YouTube:
Cari video review di YouTubePerjalanan crawl4ai di kurasi pensourceid: