EAGLE-4
eagle-hq/EAGLE-4
Buat yang menjalankan model bahasa open weight sendiri dan mau inference lebih kencang: EAGLE-4 adalah kode resmi metode speculative decoding generasi keempat, dengan dukungan SGLang, vLLM, dan TokenSpeed. Worth dicoba kalau lo sudah main di dunia serving LLM. Kenapa masuk daftar: kode resminya baru dibuat tanggal 20 Oktober dan sudah hampir 1.000 bintang dalam lima hari.
★ 966
Bintang
⑂ 32
Fork
Python
Bahasa utama
1×
Masuk edisi
AI / MLeaglegpullm-inferencesglangspeculative-decodingtokenspeedvllm
Instalasi
Perintah instalasi yang terverifikasi untuk EAGLE-4:
pip install "eagle-harness[sglang]" "sglang==0.5.23.dev252+eagle.5" --extra-index-url https://eagle-hq.github.io/EAGLE-4/whl/cu130/ --extra-index-url https://download.pytorch.org/whl/cu130 --extra-index-url https://pypi.nvidia.comgit clone https://github.com/eagle-hq/EAGLE-4.gitVideo
Lihat review dan tutorial EAGLE-4 di YouTube:
Cari video review di YouTubeRiwayat peringkat
Perjalanan EAGLE-4 di kurasi pensourceid:
