magnitude

magnitudedev/magnitude

Buat lo yang jalanin LLM lokal dan ngerasa Ollama kurang nendang: ini inference engine open source yang tuning kernel-nya ke hardware lo, klaimnya 2x lebih cepat dari Ollama, jalan di Apple Silicon, NVIDIA, AMD, sampai CPU biasa. Worth dicoba kalau lo butuh inference lokal yang kencang. Kenapa masuk daftar: rilis CLI 0.2.9 dua hari lalu, trending Rust hari ini dengan 7.000 bintang.

Aktifcommit 2 hari lalu