Skip to main content

Probabilistiska rörelsemodeller för animation

Docentföreläsning av Gustav Eje Henter, Avdelningen för Tal, Musik och Hörsel

Time: Fri 2023-06-02 14.00

Location: Fantum, Lindstedtsvägen 24

Participating: Gustav Eje Henter

Export to calendar

Datadriven karaktärsanimation har stor potential att förbättra realism och kreativitet i spel, film, virtuella avatarer och sociala robotar. Den höga ribban för visuell kvalitet gör dock att de flesta befintliga AI-animationslösningar snävt fokuserar på en specifik uppgift och inte generaliserar till olika rörelsetyper.

Detta föredrag driver tesen att 1) maskininlärning nu har avancerat tillräckligt långt för att starka, uppgifts-agnostiska rörelsemodeller är möjliga, och att 2) dessa modeller bör vara probabilistiska, för att hantera den stora mångfalden i hur beteenden kan realiseras. Vi presenterar MoGlow, en ny, prisbelönt djupinlärningsarkitektur som utnyttjar normaliserande flöden och uppfyller de två kriterierna ovan. Experiment visar att MoGlow står sig väl i konkurrensen med befintliga metoder inom rörelsesyntes för både människor och hundar.

För en längre introduktion som visar våra modeller i rörelse, se följande video: youtu.be/pe-YTvavbtA

Om tiden tillåter kommer jag också att introducera tillämpningar av normaliserande flöden för andra rörelsesyntesproblem såsom gester och dans, tillsammans med vårt senaste arbete med diffusionsmodeller för dessa problem.