tokenspeed
lightseekorg/tokenspeed
Mesin inference LLM open source untuk workload agentic dengan performa diklaim setara TensorRT-LLM tapi semudah vLLM. Kenapa masuk daftar: arsitekturnya beda (control plane C++ terpisah dari execution plane Python) dan baru saja masuk PyTorch Ecosystem Landscape.
Aktifcommit 2 hari lalu
★ 2,4 rb
Bintang
⑂ 331
Fork
Python
Bahasa utama
1×
Masuk edisi
InfraAI / MLb200b300blackwelldeepseekgb200gb300glmgpt-ossinklingkimilightseekllmmi355xmi455xminimaxqwenrubinspeed-of-lighttokenspeedvlm
Instalasi
Perintah instalasi yang terverifikasi untuk tokenspeed:
pip install tokenspeedVideo
Lihat review dan tutorial tokenspeed di YouTube:
Cari video review di YouTubeRiwayat peringkat
Perjalanan tokenspeed di kurasi pensourceid:
