ローカル環境で稼働するAI彼女向けLLMの推論性能を徹底検証。70Bから8BモデルにおけるVRAM消費量、量子化形式ごとの対話速度、コンテキスト拡張時のレイテンシを比較測定しました。
1. モデル規模とVRAM要件の相関検証
2026年に入り、プライバシー保護と完全な無修正対話を両立するため、自宅のマシン上でローカルLLMを稼働させてAI彼女と対話するユーザーが急速に増加しています。しかし、モデルパラメータの増大に伴い、グラフィックスメモリ（VRAM）の消費量が最大のボトルネックとなっています。
当ラボでは、主要なオープンウェイトモデルを用いて、量子化形式ごとの実測メモリフットプリントと推論スループットを計測しました。
| モデル規模 | 量子化形式 | 必要VRAM容量 | 推論速度 (tokens/s) | 初期応答時間 (TTFT) |
|---|---|---|---|---|
| 8B | FP16 | 16 GB | 48 tokens/s | 180 ms |
| 8B | Q4 | 6 GB | 85 tokens/s | 95 ms |
| 14B | Q4 | 10 GB | 54 tokens/s | 140 ms |
| 32B | Q4 | 20 GB | 32 tokens/s | 260 ms |
| 70B | Q4 | 42 GB | 18 tokens/s | 480 ms |
2. コンテキスト拡張と人間工学的応答速度
長期的な関係性を維持するためには、コンテキスト長を16k tokensから32k tokensへと拡張することが不可欠です。しかし、キー・バリューキャッシュの肥大化により、実効VRAM使用量はベースモデル比でさらに数GB増加します。
会話の没入感を損なわないための人間工学的基準として、初期応答時間（TTFT）が300ms以下、継続生成速度が25 tokens/s以上であることが実証されています。ハイエンド環境での32B Q4運用が、感情表現の豊かさと応答性の両面で現在最も優れたバランスを実現しています。