Évaluation empirique de l’inférence locale pour IA compagnes. Mesure de l’empreinte VRAM, des tokens par seconde et du passage à l’échelle du contexte de 8B à 70B.
1. Taille des Modèles et Analyse de l’Échelle VRAM
L’exécution locale de modèles d’IA compagnes garantit une confidentialité absolue et un jeu de rôle sans filtres. Néanmoins, l’augmentation des paramètres engendre des goulots d’étranglement stricts sur la mémoire graphique (VRAM) qui régissent la fluidité du dialogue.
Notre laboratoire a benchmarké les modèles open-weight majeurs selon les formats de quantification standard pour mesurer précisément l’empreinte mémoire et la vélocité de génération.
| Taille du Modèle (Paramètres) | Quantification | Allocation VRAM | Débit (tokens/s) | Temps jusqu’au Premier Token (TTFT) |
|---|---|---|---|---|
| 8B | FP16 | 16 GB | 48 tokens/s | 180 ms |
| 8B | Q4 | 6 GB | 85 tokens/s | 95 ms |
| 14B | Q4 | 10 GB | 54 tokens/s | 140 ms |
| 32B | Q4 | 20 GB | 32 tokens/s | 260 ms |
| 70B | Q4 | 42 GB | 18 tokens/s | 480 ms |
Vivez l’Expérience du Roleplay Neural Haute Vitesse
Testez des modèles conversationnels à haut débit et une mémoire contextuelle avancée sur Candy AI.
2. Extension de la Fenêtre de Contexte et Budget de Latence
Étendre le tampon de contexte de 16k à 32k tokens est impératif pour assurer la cohérence du personnage sur la durée. Cependant, le cache KV réclame plusieurs gigaoctets supplémentaires de VRAM dédiée.
Nos tests confirment qu’un délai de premier token inférieur à 300 ms et une vitesse supérieure à 25 tokens/s sont indispensables pour préserver l’illusion de présence. Les architectures 32B quantifiées en Q4 constituent actuellement le meilleur compromis matériel.