janas
prabanta-dev/janas
Janas adalah inference engine LLM yang ditulis murni di C: model MoE 80B parameter diklaim jalan 37 token/detik di laptop 32GB RAM, dengan bobot per token di-stream dari SSD. Diklaim lebih kencang dari llama.cpp di 13 model yang dibandingkan. Kenapa masuk daftar: cara cerdas menjalankan model raksasa di laptop biasa tanpa GPU mahal.
★ 119
Bintang
⑂ 9
Fork
C
Bahasa utama
1×
Masuk edisi
AI / MLcpu-inferenceggufinference-enginellmlocal-llmmixture-of-expertsnvmeqwen3
Instalasi
Perintah instalasi yang terverifikasi untuk janas:
curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
tar xf janas-linux-x86_64.tar.gz && cd janasgit clone https://github.com/prabanta-dev/janas.gitVideo
Lihat review dan tutorial janas di YouTube:
Cari video review di YouTubeRiwayat peringkat
Perjalanan janas di kurasi pensourceid:
