janas
prabanta-dev/janas
Janas adalah inference engine LLM yang ditulis murni di C: model MoE 80B parameter diklaim jalan 37 token/detik di laptop 32GB RAM, dengan bobot per token di-stream dari SSD. Diklaim lebih kencang dari llama.cpp di 13 model yang dibandingkan. Kenapa masuk daftar: cara cerdas menjalankan model raksasa di laptop biasa tanpa GPU mahal.
Aktifcommit 2 hari lalu
★ 437
Bintang
⑂ 34
Fork
C
Bahasa utama
2×
Masuk edisi
AI / MLavx2ccpu-inferenceggufinference-enginelinuxllmlocal-llm
Instalasi
Perintah instalasi yang terverifikasi untuk janas:
curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
tar xf janas-linux-x86_64.tar.gz && cd janasgit clone https://github.com/prabanta-dev/janas.gitVideo
Lihat review dan tutorial janas di YouTube:
Cari video review di YouTubeRiwayat peringkat
Perjalanan janas di kurasi pensourceid:
