本文摘要:真假奥巴马,傻瓜分不清。在现场共享的开始阶段,Ira必须认为这项研究的两个主要课题:音频只是一维信息,但最后我们需要的是二维图像图像。让AI模仿奥巴马的嘴巴不会利用很多现有的素材,所以第一个问题就是如何模仿奥巴马的嘴巴运动。

奥巴马

真假奥巴马,傻瓜分不清。上面两个人,只是奥巴马。

左边是1990年在剑桥读书时的他,另一个是20多年后成为总统的他。最重要的是,这两个奥巴马本质上说着同样的话。

因为右边的假奥巴马,而且利用左边的20多年前奥巴马的音频分解了。这场魔术般的演出,实质上是来自华盛顿大学的3位学者Supasorn、Steven、Ira的最近成果。

他们在7月中旬发表了相关的展示录像,其中一名成员Ira在上周洛杉矶的SIGGRAPH中详细说明和分析了这,在SIGGRAPH现场也听到了这次的共享。如何构建输出语音,输入图片?看了这个展示,第一个想起的问题一定是这个魔术是怎么构筑的如何把声音变成一个人的脸?在现场共享的开始阶段,Ira必须认为这项研究的两个主要课题:音频只是一维信息,但最后我们需要的是二维图像图像。人类本身对口部运动的感觉非常脆弱,高清图像质量下的小缺陷更加明显。

举个例子,现在电影和游戏中有很多人物的细节,他们说话时整个脸的微小动作,实质上是真正的演员,在脸上贴上各种各样的标记后,在照相机面前一对一模拟的结果。但是,显着的这种方法不能应用于所有的场景。既然不清楚,就不能巧妙。提到月论文的图,看看他们的实际处理过程。

非常简单地总结一下,输出声音,利用神经网络循环将声音转换成大致的嘴型,利用大致的嘴型新的转换成嘴、牙、脸的图像,找到合适的视频段落,并将嘴型的时间点与视频段落对应的嘴型复盖面积在目标的视频段落整个过程中最重要的是现有数据的使用。除了从现有的图片数据中学不会改变嘴型外,他们实质上确实分解的只有嘴型的改变,只剩下的头型的改变和背景也来自现有的素材。这种通过AI技术将现实资料融合在一起,重新分解虚拟世界内容的想法是他们顺利的关键。

让AI模仿奥巴马的嘴巴不会利用很多现有的素材,所以第一个问题就是如何模仿奥巴马的嘴巴运动。口型与发音几乎没有一一对应,同时不受前后发音、语气等因素。如果需要将音频分为无数段落,与口型对应后再组合。你不会得到像抽搐一样的奥巴马。

应对,Ira们考虑了循环神经网络:神经网络循环分析了25毫秒的音频,融合了前后的发音,确认了脸的表情。最重要的是,这个25毫秒的窗口期不是一个接一个的,而是随着时间的推移。这也使最后分解的奥巴马非常简洁。

确认该检查方法后,他们利用机器分析所有奥巴马片段,最后将他们转化为包括上下唇在内的18个标记点的二维模型。在月度论文中,他们也详细说明了自己如何用于循环神经网络,有兴趣的是iTunes。脸作脸部:制作真相有分解的嘴,但是奥巴马的整张脸的距离已经完成,整个部分还很近,所以必须先找到需要背景的现有部分。

他们可以自由参考声音的间隔。首先分析输出声音的间隔,在现有的片段中寻找必要的片段。甚至将现有片段展开50%幅度以内的图形。

音频

然后,他们构建了假设的奥巴马3D模型,并分析了顺序的段落展开头部方向。同时,根据目标段的数据分解虚拟世界的下半部分脸。

分解

为了使最后的画面看起来更现实,他们分别对牙齿进行了高清化处理。最后,他们抽出现有片段的脸和衬衫,把分解的下半部分脸的模型分为脸和脖子。最后,整合几个图层,成为最后的片段。

由于几乎没有进行三维处理,效果上面临着小问题。例如,奥巴马头部左右变向较大时,分解的嘴模型不能适应环境下巴,经常出现双下巴等图形错误。

但是,即使如此,我相信在不告诉分解片段的情况下,很少有人多人是谎言。局限性:现在可以模仿的可能只有总统在现场,Ira也坦白了这种方法的两个主要局限性:模仿的对象不能面向镜头(侧脸、其他角度,几乎没有用于3D图形技术)需要大量的高清视频数据来分析。

这也是他们最后选择奥巴马作为第一个实验者的关键,因为美国总统会在任期以上公开发表每周的电视演讲。奥巴马在自己工作的8年间积累了800台高清电视的对话。别人想要拥有这么多的素材并不是那么容易。

另一方面,目前总体制作过程仍然相对较慢,在NVIDIATitanX、Intelli7-5820K的情况下,拆解66秒的实际视频大约需要3分钟。为了自学整体时间超过17小时的视频,他们用约10组Xeone5530服务器跑了2周。Ira对这项技术的应用在未来也应对了充分的悲观,他在现场也可以构筑高品质的画面传输,在大幅度提高比特率市场需求的各种语言下的读唇能力构筑各种娱乐能力,如电影、游戏中的效果Ira最后在现场对其他观众作出反应:该应用于奥巴马上的处理,实质上也需要应用于符合条件的其他对象。

但是,从结果来看,利用AI时融合现有的现实数据是更可靠的做法。对于他们来说,下一步的挑战是试图融合除了面部以外的更好的奥巴马素材。

原始文章允许禁止发布。下一篇文章发表了注意事项。

本文关键词:凤凰城娱乐官方网站,最重要的是,在现场,利用,奥巴马

本文来源:凤凰城娱乐官方网站-www.eniyiindir.com