Valutazione empirica dell’inferenza locale per compagne IA. Misurazione dell’impronta VRAM, token al secondo e scalabilità del contesto su modelli da 8B a 70B.
1. Dimensione dei Parametri e Analisi di Allocazione VRAM
Eseguire modelli di compagne IA in locale garantisce la massima riservatezza e libertà espressiva senza filtri. Tuttavia, la crescita dei parametri impone colli di bottiglia critici sulla memoria video (VRAM), da cui dipende la fluidità della conversazione.
Il nostro laboratorio ha testato i principali modelli open-weight con vari formati di quantizzazione per quantificare esattamente l’impronta di memoria e la velocità di generazione.
| Dimensione Parametri Modello | Quantizzazione | Allocazione VRAM | Throughput (token/s) | Tempo al Primo Token (TTFT) |
|---|---|---|---|---|
| 8B | FP16 | 16 GB | 48 tokens/s | 180 ms |
| 8B | Q4 | 6 GB | 85 tokens/s | 95 ms |
| 14B | Q4 | 10 GB | 54 tokens/s | 140 ms |
| 32B | Q4 | 20 GB | 32 tokens/s | 260 ms |
| 70B | Q4 | 42 GB | 18 tokens/s | 480 ms |
Vivi il Gioco di Ruolo Neurale ad Alta Velocità
Sperimenta modelli di compagne ad alto throughput e memoria conversazionale persistente su Candy AI.
2. Estensione del Contesto e Soglie di Latenza
Espandere il buffer di dialogo da 16k a 32k token è indispensabile per preservare la continuità del personaggio nel tempo. Tuttavia, l’allocazione della cache KV richiede diversi gigabyte supplementari di VRAM dedicata.
Le prove di dialogo dimostrano che un tempo al primo token inferiore a 300 ms e un throughput superiore a 25 token/s sono prerequisiti indispensabili per un’esperienza naturale. L’impiego di modelli 32B quantizzati in Q4 rappresenta il punto di equilibrio ideale.