microsoft/BitNet
Framework inferensi resmi Microsoft buat LLM 1-bit, model jalan cepat dan hemat energi di CPU biasa tanpa GPU. Kenapa masuk daftar: framework resmi dari Microsoft yang bikin LLM bisa jalan di CPU murah, tren inference lokal makin kencang.
Perintah instalasi yang terverifikasi untuk BitNet:
git clone --recursive https://github.com/microsoft/BitNet.gitconda create -n bitnet-cpp python=3.10 && conda activate bitnet-cpp && pip install -r requirements.txtpython setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_sLihat review dan tutorial BitNet di YouTube:
Cari video review di YouTubePerjalanan BitNet di kurasi pensourceid: