·14 min de lecture
Pousser quatre Raspberry Pi à la limite avec distributed-llama
Comment nous avons fait tourner un modèle Mixture-of-Experts de 30B (Qwen3-30B-A3B) sur quatre Raspberry Pi 5 (CPU uniquement) à 15,143 tok/s en décodage : bit-exact et +16,1 % au-dessus du record public, jusqu'au mur de la mémoire LPDDR4X.