¿Cuál es la mejor manera de sincronizar el diálogo con una caricatura?

Estoy escribiendo una característica similar en http://www.3d-avatar-store.com; En 3DAS (mi nombre corto para mi sitio) le permitimos crear avatares 3D de personas a partir de fotos. Actualmente tenemos la sincronización automática de labios expuesta a nuestros clientes WebAPI, y estoy escribiendo las interfaces web para que los usuarios de nuestro sitio web puedan crear presentaciones de sincronización de labios. El proceso es ridículamente simple: cargue un archivo de audio hablado, opcionalmente cargue el texto de lo que se habla para una mejor sincronización de labios y luego genere la sincronización de labios. El paso de “generación” crea un montón de curvas de animación, que “reproducimos” a través de un avatar en sincronización con la reproducción de audio. Estoy esperando que esto aterrice para uso público durante el fin de semana. (Sí, trabajo todo el tiempo en esto. Vivo y respiro creando herramientas de animación).