Abstrato

Computação Gráfica 2016: Coarticulação e sincronização de fala em animação facial baseada em MPEG-4 - Abdennour El Rhalibi - Universidade de Liverpool

Abdennour El Rhalibi

Nesta palestra, o Professor Abdennour El Rhalibi apresentará um resumo da sua investigação em tecnologias de jogos na LJMU. Apresentará alguns projetos recentes desenvolvidos com a BBC R&D, em desenvolvimento de middleware de jogos e em animação facial. Em particular, apresentará uma estrutura completamente única para co-articulação e sincronização de fala para animação facial baseada em MPEG-4. O sistema, denominado Charisma, permite a criação, edição e reprodução de modelos 3D de alta resolução; Fluxos de animação MPEG-4; e é compatível com sistemas relacionados conhecidos como Greta e Xface. Suporta a conversão de texto em voz para sincronização dinâmica de voz. A estrutura permite também a simplificação do modelo em tempo real utilizando superfícies baseadas em quádricas. A abordagem de co-articulação proporciona uma animação de sincronização labial realista e de alto desempenho, apoiada no modelo de co-articulação de Cohen-Massaro adaptado à especificação de animação facial (FA) MPEG-4. Discutirá também algumas experiências que mostram que a técnica de co-articulação fornece bons resultados globais quando comparada com técnicas de última geração relacionadas. reprodução de modelos 3D de alta resolução; Fluxos de animação MPEG-4; e é compatível com sistemas relacionados conhecidos como Greta e Xface. Suporta a conversão de texto em voz para sincronização dinâmica de voz. A estrutura permite a simplificação do modelo em tempo real utilizando superfícies baseadas em quádricas. Como a sua utilização é imensamente ampla, desde as utilizações na indústria cinematográfica, para gerar personagens CGI ou mesmo para recriar atores reais em animação CGI; de personagens realistas que mergulham o jogadores como nunca antes. A animação facial também alcançou mais recentemente diversos setores e aplicações, como a presença virtual e a investigação médica. Existem alguns kits de ferramentas e frameworks dedicados à animação facial, como o Facegen e outras ferramentas. Este amplo potencial e fascínio em torno deste assunto gerou uma intensa e dedicada investigação nas últimas três décadas. exemplo, rugas, pele e cabelo) e sistemas de agentes incorporados que melhoram a experiência do utilizador, incorporando personagens virtuais com subsistemas que envolvem personalidade, emoções e estados de espírito de fala. e todos têm um papel importante na comunicação, quer diretamente através do uso da fala, quer indiretamente utilizando gestos corporais, olhares, estados de espírito e expressões. Contudo, a fala é o principal meio direto de comunicação entre os agentes incorporados e o utilizador.Isto justifica os esforços empreendidos pela comunidade de investigação nos últimos trinta anos para a criação de fala sintética realista e movimentos labiais para personagens virtuais. Nas últimas duas décadas vários avanços permitiram a criação de fala áudio sintético-visual para personagens virtuais, envolvendo o processamento de fala habilitado com a criação de mecanismos de conversão de texto em fala como o Mary-TTS (Schröder, 2001). Com a criação destes motores de fala, a coarticulação também registou vários avanços (Massaro, 1993, Pelachaud, 2002, Sumedha e Nadia, 2003, Terry e Katsaggelos, 2008) que foram complementados com estudos faciais iniciais de sincronização labial que tentaram concatenar a fonética segmentos, no entanto verificou-se que os fonemas nem sempre atingem a sua forma alvo ideal, devido à influência de segmentos fonéticos consecutivos entre si. A coarticulação refere-se à sobreposição fonética, ou alterações na articulação que ocorre entre os segmentos, o que não permite que o segmento atinja a sua forma alvo perfeita. Os efeitos da coarticulação podem ser divididos em dois fenómenos principais, a coarticulação perseverativa: se os segmentos afetados forem os anteriores;

Biografia:

Abdennour El Rhalibi é professor de computação de entretenimento e chefe de projetos estratégicos na Liverpool John Moores University. É Chefe do Laboratório de Investigação de Jogos de Computador no Protect Research Center. Tem mais de 22 anos de experiência a investigar e a lecionar em Ciências da Computação. Trabalhou como investigador principal em três projetos da UE em França e no Reino Unido. A sua investigação atual envolve Tecnologias de Jogos e Inteligência Artificial Aplicada. Lidera há seis anos vários projetos em Computação de Entretenimento financiados pela BBC e empresas de jogos sediadas no Reino Unido, envolvendo ferramentas de desenvolvimento multiplataforma para jogos, desenvolvimento de middleware de jogos 3D baseado na Web, sincronização de estado em jogos online multijogador, peer -to- MMOG de pares e animação de personagens 3D. Publicou mais de 150 publicações nessas áreas. Faz parte de muitos conselhos editoriais de revistas, incluindo a ACM Computer in Entertainment e o International Journal of Computer Games Technologies. Tem desempenhado as funções de presidente e membro do IPC em mais de 100 conferências sobre entretenimento computacional, IA e RV. É membro de muitos Comités Internacionais de Investigação em IA e Computação de Entretenimento, incluindo o IEEE MMTC IG: 3D Rendering, Processing and Communications (3DRPCIG), o IEEE Task Force on Computational Intelligence in Video Games e o IFIP WG 14.4 Games and Entertainment Computing.