Kurzfassung (TL;DR): Die Kombination aus OpenSeeFace (68-Punkte-Gesichtserkennung) und Live2D Cubism ermöglicht flüssiges 60-FPS-Avatar-Tracking über den lokalen UDP-Port 11573 bei unter 4 % CPU-Last. In Verbindung mit Echtzeit-TTS-Audioanalyse für ParamMouthOpenY entsteht eine reaktionsschnelle visuelle KI-Begleiterin ohne Cloud-Kamera-Upload.
1. OpenSeeFace UDP-Telemetrie (Port 11573) & Startparameter
OpenSeeFace verarbeitet Kamerabilder lokal über MobileNetV3-ONNX-Modelle und sendet kompakte 1.787-Byte-Pakete an 127.0.0.1:11573. Mit den Flags --capture 0 --fps 60 --model 3 --width 640 --height 480 erreichen Desktop-Systeme eine Latenz von nur 4,8 ms, während die gesamte GPU-VRAM-Kapazität für lokale Sprachmodelle frei bleibt.
2. Live2D Cubism Parameter-Mapping & TTS-Lip-Sync
Die Kopfrotation wird auf ParamAngleX, ParamAngleY und ParamAngleZ (±30°) abgebildet, der Lidschluss auf ParamEyeLOpen und ParamEyeROpen (0,0 bis 1,0) und die Sprachausgabe über eine 60-Hz-RMS-Hüllkurve direkt auf ParamMouthOpenY und ParamMouthForm.
Multimodale KI-Begleiterinnen auf Candy AI starten
Testen Sie animierte KI-Charaktere und emotionale Echtzeit-Sprachanrufe direkt im Browser ohne lokale Einrichtung.