Resumen (TL;DR): Integrar OpenSeeFace (detección facial de 68 puntos) con Live2D Cubism o VSeeFace permite animar avatares de compañeras IA a 60 FPS mediante telemetría local en el puerto UDP 11573 con menos del 4 % de uso de CPU.
1. Telemetría Local UDP 11573 y Flags de Bajo Consumo
Ejecutar python facetracker.py --capture 0 --fps 60 --model 3 --ip 127.0.0.1 --port 11573 mantiene una latencia media de 4,8 ms sin consumir memoria VRAM de la tarjeta gráfica, dejando los recursos libres para el modelo de lenguaje y la síntesis de voz.
2. Mapeo de Parámetros Live2D Cubism y Sincronización Labial TTS
Los ángulos de cabeza controlan ParamAngleX/Y/Z, el parpadeo se vincula a ParamEyeLOpen/ROpen y el flujo de audio TTS modula ParamMouthOpenY y ParamMouthForm en tiempo real.
Explora Compañeras IA Multimodales en Candy AI
Disfruta de avatares animados y llamadas de voz emocionales de baja latencia directamente desde tu navegador.