Evaluación empírica de la inferencia local de modelos de compañeras IA. Medimos consumo de VRAM, tokens por segundo y escalado de contexto en modelos de 8B a 70B.
1. Tamaño del Modelo y Análisis de Escalabilidad de VRAM
Ejecutar modelos de compañeras IA en local ofrece una privacidad absoluta y una libertad conversacional sin filtros. No obstante, el incremento de parámetros crea cuellos de botella severos en la memoria gráfica (VRAM) que determinan la fluidez del diálogo.
Nuestro laboratorio de hardware ha evaluado los principales modelos de pesos abiertos con formatos de cuantización estándar para cuantificar la huella de memoria y las tasas de generación.
| Tamaño del Modelo (Parámetros) | Cuantización | Asignación de VRAM | Rendimiento (tokens/s) | Tiempo al Primer Token (TTFT) |
|---|---|---|---|---|
| 8B | FP16 | 16 GB | 48 tokens/s | 180 ms |
| 8B | Q4 | 6 GB | 85 tokens/s | 95 ms |
| 14B | Q4 | 10 GB | 54 tokens/s | 140 ms |
| 32B | Q4 | 20 GB | 32 tokens/s | 260 ms |
| 70B | Q4 | 42 GB | 18 tokens/s | 480 ms |
Experimenta el Juego de Rol Neuronal de Alta Velocidad
Prueba modelos de alta velocidad de respuesta y memoria conversacional profunda en Candy AI.
2. Expansión de la Ventana de Contexto y Latencia
Aumentar el búfer conversacional de 16k a 32k tokens resulta crítico para mantener la continuidad del personaje a lo largo de múltiples sesiones. Sin embargo, el almacenamiento en caché KV requiere varios gigabytes adicionales de VRAM dedicada.
Los ensayos conversacionales demuestran que un tiempo al primer token inferior a 300 ms y una velocidad de más de 25 tokens/s son indispensables para una inmersión psicológica plena. La ejecución de modelos 32B bajo cuantización Q4 representa el punto de equilibrio óptimo actual.