Empirische Analyse lokaler KI-Begleiter-LLMs: Wir messen VRAM-Bedarf, Tokens pro Sekunde und Kontextfenster-Skalierung für Modelle von 8B bis 70B Parametern.
1. Modellgröße und VRAM-Skalierungsanalyse
Das lokale Betreiben von KI-Begleitermodellen bietet unübertroffenen Datenschutz und ungefilterte Rollenspiel-Freiheit. Allerdings führt die Skalierung der Modellparameter zu gravierenden Engpässen im Grafikspeicher (VRAM), die über den flüssigen Gesprächsverlauf entscheiden.
Unser Hardware-Labor hat führende Open-Weight-Modelle über standardisierte Quantisierungsformate hinweg getestet, um den tatsächlichen Speicherbedarf und die Generierungsgeschwindigkeiten präzise zu beziffern.
| Modellgröße (Parameter) | Quantisierung | VRAM-Bedarf | Durchsatz (Tokens/s) | Zeit bis zum ersten Token (TTFT) |
|---|---|---|---|---|
| 8B | FP16 | 16 GB | 48 tokens/s | 180 ms |
| 8B | Q4 | 6 GB | 85 tokens/s | 95 ms |
| 14B | Q4 | 10 GB | 54 tokens/s | 140 ms |
| 32B | Q4 | 20 GB | 32 tokens/s | 260 ms |
| 70B | Q4 | 42 GB | 18 tokens/s | 480 ms |
Hochgeschwindigkeits-Neural-Rollenspiel erleben
Testen Sie hochperformante Begleitermodelle und tiefes Kontextgedächtnis auf Candy AI.
2. Erweiterung des Kontextfensters & Latenz-Budgets
Die Erweiterung des Konversationspuffers von 16k auf 32k Tokens ist unverzichtbar für eine glaubwürdige Kontinuität über mehrere Tage hinweg. Allerdings erfordert die KV-Cache-Allokation mehrere zusätzliche Gigabyte an dediziertem VRAM.
Empirische Konversationsstudien belegen, dass eine Zeit bis zum ersten Token unter 300 ms und Generierungsraten über 25 Tokens/s erforderlich sind, um die emotionale Immersion aufrechtzuerhalten. 32B-Modelle unter Q4-Quantisierung stellen derzeit den optimalen Kompromiss dar.