vllm
vllm-project/vllm
Buat lo yang serving LLM sendiri atau lagi dalemin soal inference engine: ini standar industrinya, engine inference LLM yang kencang dan hemat memori, dipakai luas buat deployment model open-weight. Worth dicoba kalau lo mainan LLM lokal atau bangun API model sendiri. Kenapa masuk daftar: rilis v0.32.0 tiga hari lalu (814 commit dari 363 kontributor), masuk GitHub Trending harian.
★ 94,6 rb
Bintang
⑂ 23,7 rb
Fork
Python
Bahasa utama
1×
Masuk edisi
AI / MLInfrallm-servinginferencemoecudatpuopenaillamaqwenpytorch
Instalasi
Perintah instalasi yang terverifikasi untuk vllm:
uv pip install vllm
vllm download-kernelspip install vllmgit clone https://github.com/vllm-project/vllm.gitVideo
Lihat review dan tutorial vllm di YouTube:
Cari video review di YouTubeRiwayat peringkat
Perjalanan vllm di kurasi pensourceid:
