图一:蓝色:初始动画的帧,包含一些细小的错误,缺乏真实犬类运动的细微之处。绿色:运动捕捉的真实犬类数据集的相应帧。红色:将初始(蓝色)动画通过我们的四足动物增强神经网络后的输出。(图片来源:DOI:10.1145/3487983.3488293)
都柏林圣三一大学和巴斯大学的研究人员最近开发了一种基于深度神经网络的模型,它可以提升包含四足动物(如狗)的动画的质量。他们在2021年的MIG(运动、互动与游戏)会议上展示了开发的框架,人们在这个会议上会展示制作高质量动画和电子游戏的最新技术。
进行这项研究的研究人员之一,Donal Egan告诉TechXplore:“我们对使用非人类的数据很感兴趣,出于实用性考虑,我们选择了最容易获得数据的狗。”
(图片来源:Pixabay)
创建狗以及其他四足动物的高质量的动画是一项具有挑战性的任务。主要原因在于这些动物的运动方式很复杂,它们有独特的步态、特定的脚步模式。Egan和他的同事希望创建一个框架,用以简化四足动物动画的创作,借以为动画视频和电子游戏制作更精致的内容。
Egan说道:“使用传统的方法(如关键帧)创建再现四足动物运动的动画是相当具有挑战性的。这就是为什么我们认为开发一个可以自动增强初始作图草稿的系统是很有必要的,它可以消除用户自行手工制作高精度逼真的动画的要求。”
Egan和他的同事们最近进行的研究是基于先前的一项研究,该研究旨在通过深度学习来生成和预测人类的运动。为了在四足动物的运动方面取得同样的结果,他们使用了大量的真实的狗的运动捕捉数据,这些数据被用来创建一些高质量的狗的动画。
“对于每一个动画,我们都能自动创建对应的一个‘差’的动画,它们的内容相同,但包含一些错误之处,动画质量下降,缺乏真正的狗运动的许多细节之处。”进行这项研究的研究人员之一Donal Egan告诉TechXplore,“然后我们训练了一个神经网络来学习这些‘差’网络与高质量动画之间的区别。”
通过对质量好以及差的动画进行训练之后,研究人员研发的神经网络学会了如何增强狗的动画:提高动画的质量,从而使它们更为逼真。团队的想法是,在运行模型时,最初的动画,它可能是用如关键帧技术等各种方法制作的,它们往往没有说服力。
(图片来源:Pixabay)
Egan说:“我们的研究表明,神经网络会学习如何添加微小之处的细节,从而使四足动物的动画看起来更加的逼真,我们工作的意义在于这项技术可以被纳入的应用程序,比如使其用来加速动画生成管道。传统的一些程序使用的逆运动学的方法创建的动画,往往会缺乏真实感,在当下这种情况之下,我们的工作可以纳入并作为后续处理步骤。”
研究人员在进行了一系列测试后评估了他们的深度学习算法,发现它可以在不改变动画语义和背景的基础上大大改善现有的狗的动画质量。在未来,他们的模型可以被用来加快和促进电影或电子游戏中动画的制作。在接下来的研究中,Egan和他的同事们计划继续探索以数字和图形的方式再现狗的动作的方法。
“我们的团队对包括图形、动画、机器学习和虚拟现实中的动作表现等主题都很感兴趣,”Egan说,“我们想把这些领域结合起来,开发一个在虚拟现实体现出四足动物的系统,该系统能让游戏者或演员在虚拟现实中成为一只狗。通过帮助我们在VR中产生逼真的四足动物动画,这篇文章中讨论的工作将构成这个系统的一部分。”
作者:Ingrid Fadelli
翻译:彭琛
审校:汪茹
引进来源:Tech Xplore