Codé par Guy Tevet, Sigal Raab, Brian Gordon, Yonatan Shafir, Daniel Cohen-Or, Amit H. Bermano de l’Université de Tel Aviv (Israël), découvrez le MDM : le « Human Motion Diffusion Model ». Ce modèle permet de générer une animation en mouvement à partir d’un texte écrit !
La génération de mouvement humain naturel et expressif est le Saint Graal de l’animation par ordinateur. C’est une tâche difficile, en raison de la diversité des mouvements possibles, de la sensibilité de la perception humaine à ceux-ci et de la difficulté de les décrire avec précision. Par conséquent, les solutions génératives actuelles sont soit de mauvaise qualité, soit limitées en termes d’expressivité.
Le modèle de diffusion de mouvement (MDM), un modèle génératif basé sur la diffusion sans classificateur soigneusement adapté pour le domaine du mouvement humain. Le MDM est basé sur un transformateur, combinant des informations issues de la littérature sur la génération de mouvement. Ce modèle est entraîné avec des ressources légères tout en obtenant des résultats de pointe sur les principales références en matière de text-to-motion et d’action-to-motion.
Par exemple : « Une personne s’avance, se penche pour ramasser quelque chose par terre. »
Text-to-motion
Text-to-motion permet de générer un mouvement à partir d’un texte d’entrée. Le mouvement de sortie devrait à la fois mettre en œuvre la description textuelle et un échantillon valide de la distribution des données (c’est-à-dire adhérer aux capacités humaines générales et aux règles de la physique).
Action-to-Motion
C’est la tâche de générer un mouvement étant donné une classe d’action d’entrée, représentée par un scalaire. Le mouvement de sortie doit animer fidèlement l’action d’entrée, et en même temps être naturel et refléter la distribution de l’ensemble de données sur lequel le modèle est formé.
Motion Editing
En adaptant l’inpainting d’image de diffusion, nous définissons un préfixe et un suffixe de mouvement, et utilisons notre modèle pour combler le vide. Le faire sous une condition textuelle guide MDM pour combler le vide avec un mouvement spécifique qui conserve toujours la sémantique de l’entrée d’origine. En effectuant l’inpainting dans l’espace articulaire plutôt que temporellement, nous démontrons également l’édition sémantique de parties spécifiques du corps, sans changer les autres.