En bref (TL;DR) : L'association d'OpenSeeFace (détection faciale à 68 points) et de Live2D Cubism permet d'animer un avatar d'IA compagne à 60 FPS via le port UDP local 11573 avec moins de 4 % de charge CPU.
1. Télémétrie UDP 11573 et Options Basse Consommation
La commande python facetracker.py --capture 0 --fps 60 --model 3 --ip 127.0.0.1 --port 11573 assure une latence de 4,8 ms tout en préservant l'intégralité de la mémoire VRAM pour l'inférence LLM.
2. Mappage Live2D Cubism et Synchronisation Labiale TTS
Les mouvements de tête pilotent ParamAngleX/Y/Z, le clignement des yeux contrôle ParamEyeLOpen/ROpen et l'analyse spectrale du flux TTS module ParamMouthOpenY et ParamMouthForm.
Découvrez les Compagnes IA Multimodales sur Candy AI
Profitez d'avatars animés et d'appels vocaux émotionnels à faible latence directement dans votre navigateur.