网易互娱AI Lab提出首个基于单幅图片的实时高分辨率人脸重演线性
2024-10-14 人物
新科技实现
本模式军事训练阶段性以引三幅像和飞轮三幅像对作为驱动，首先有别于 3DMM 正则表达式匹配剧照中所貌似的大小、神情和躯干关键时刻数值并推算相应的相同之处点三幅像。而后，过场可选根据引三幅像、军事训练场地以及引三幅像和飞轮貌似的躯干关键时刻化学合成躯干紧接著结果。其中所，军事训练场地是由爱国运动可选基于相同宏观的相同之处点三幅像有别于由粗到胆的模式得出结论想得到。
3DMM 匹配
本模式首先有别于搜狐互娱 AI Lab 自研的貌似 3DMM 翻修正则表达式推算想得到驱动的引三幅像和飞轮三幅像的貌似数值
和
，其中所，
为貌似大小数值，
为貌似神情数值，
为躯干关键时刻数值，s 和 d 分别代表引貌似和飞轮貌似。与仅有模式在运用 3DMM 翻修结果时须要翻修整个貌似相同的是，本特案大部分必需借助匹配想得到的貌似文档翻修均无论如何文档。在现今的特案中所，我们基于 Face++ 的 106 点貌似相同之处点分布特案并理应所自由选择了 72 个貌似无论如何应用于重构后续爱国运动可选所须要的貌似相同之处点三幅。
过场可选
本特案过场可选的主体必必需有别于基于磁化的模式，然而传统意义的正则表达式必必需大部分默许对于驱动三幅片尺寸最多下均值到原宏观的 1/4，应用于更多的下均值层则但会加剧三幅像化学合成精确度明显减缓，这就加剧了整个Skype不得不在相当大的宏观上对三幅像完成处理方式，从而增加了正则表达式的行车整整和内存占用。
为了化解这一弊端，本特案特出异议了一个更有效领军的过场必必需默许将驱动三幅像下均值到本来的 1/16，并同时必必需了就此的化学合成精确度。
Skype形态如下三幅所示，主体形态由一个 U 型的序列器
和音讯器
组合成。
由于每个下均值层更但会造成三幅像具体的取走，因此我们通过替换成序列器与音讯器彼此之间的跳连来补偿这种文档人员伤亡。有别于这种设计特案使得我们可以引入额外的 2 次下均值操作，在基本不改变降解精确度的同时远比仅有基于磁化的正则表达式必必需中国铁路至少 3 倍以上。
过场可选Skype形态三幅传统意义基于磁化的Skype必必需另一个显著的缺点是他们大部分能处理方式有限区域的关键时刻变动。因此，本文仿造了同样化学合成模式中所借助关键时刻文档来有效改善大关键时刻下的貌似化学合成精确度的初衷，对躯干关键时刻文档完成序列并流入到序列器 E_I 和 D_I 中所。其中所，大众文化的躯干关键时刻序列模式多是基于 2D 貌似相同之处点，3D 貌似相同之处点或者是如图所示化后的 3DMM 貌似模型。然而，降解或者处理方式这些文档但会引入不可相带头的推算获益。
因此，本特案同样应用于 3DMM 匹配阶段性所想得到的躯干关键时刻文档作为关键时刻序列流入过场Skype。确切的，6 维关键时刻文档首先通过带头时域Skype
完成等价化序列，而后通过 SPADE 可选将其流入到过场必必需中所。这里没有没有应用于大众文化的 AdaIn 模式完成关键时刻文档的序列和流入的缘故主要是出于整整效领军上的权衡，测试推断出 AdaIn 中所应用于的 MLP 形态整整消耗更大，且在最后的结果上与 SPADE 模式多种不同。
爱国运动可选
恰当的引三幅像到飞轮三幅像貌似的爱国运动文档预估对于基于磁化模式的化学合成精确度起着至关重要的作用。现今，有别于貌似的 3DMM Skype作为军事训练场地预估的指导文档是现今大众文化的也是敏感度尤其好的模式。然而这种模式须要在得出结论时首先重构出整个貌似模型，而本文模式则大部分必需翻修貌似Skype上的均匀分布相同之处点方能。通过将这些重构的相同之处投影到二维上并绘制想得到貌似相同之处点三幅来作为得出结论军事训练场地的指导文档，本特案可以避免对整个貌似三维的冷过场步骤(一般来说十分耗费)，使得即使在iPhone后端 CPU 上也可以快速降解正则表达式的驱动图表。
爱国运动可选Skype形态三幅现今大众文化的军事训练场地得出结论Skype必必需大多是基于单一宏观的 hourglass Skype，虽然敏感度较好但是效领军较低。均受最近光流场预估模式根据低分辨领军得出结论结果渐进式降解高分辨领军结果的启发，本文特出异议了一个多种不同的由粗到胆的军事训练场地预估方式而，可以在不人员伤亡得出结论胆度的必必需下，远比传统意义单宏观正则表达式中国铁路 3.5 倍。如上三幅所示，爱国运动可选分别有别于三个叔父Skype
得出结论想得到相同宏观下的军事训练场地
。每个叔父Skype应用于相同宏观的引三幅像和相同之处点三幅像作为驱动，驱动则为军事训练场地的残差，意在在前一个Skype的得出结论结果上替换成具体。
另外，每个叔父Skype经过上均值后的相同之处三幅更但会送入下一级Skype意在加快Skype军事训练时的不动点更快。须要注意的是，送入相同宏观叔父Skype的相同之处点三幅所用的相同之处点数目也是逐渐增多的，如上三幅左边所示，每层所用相同之处点是 72 个相同之处点的集合，数目分列 8,27,72。
军事训练及得出结论具体
本文应用于 VoxCeleb 图表集来完成军事训练，其中所包含了大约 20k 的摄像机图表。军事训练步骤有别于自全权负责模式完成，从同一段摄像机中所随机均值 2 张三幅像分别作为引三幅像和目标三幅像。另外，本文有别于重新组建优化的模式在军事训练中所同时更新过场网路和爱国运动Skype的Skype形态数值，人员伤亡formula_以外以下几项：
其中所，
分别对应翻修人员伤亡，磁化人员伤亡，对付人员伤亡和相同之处假定人员伤亡，每个人身份员伤亡项的举例来说分列 15,500,1,1。在本文实现中所，
有别于 VGG-19 Skype推算降解结果和 ground-truth 彼此之间的感知人员伤亡，
则推算了应用于得出结论想得到的军事训练场地对引三幅完成磁化的结果与 ground-truth 彼此之间的 L_1人员伤亡意在约束爱国运动可选降解正确的军事训练场地，对付人员伤亡
则有别于对付研修的模式进一步特高化学合成结果的精确度，相同之处假定人员伤亡
则应用于稳定整个军事训练步骤。
在得出结论步骤中所，对于假定的引三幅像，其貌似 3DMM 数值
，相同之处点三幅和过场Skype中所的
和
推算的相同之处序列都可以该冷件可先推算想得到。而其余的步骤则是Skype推算(例如，飞轮貌似的 3DMM 数值
，军事训练场地
等)。
敏感度展示
美国宇航局分别在貌似紧接著和貌似翻修两个任务上对比了所特特案与仅有 SOTA 模式 (FS-VID2VID, Bi-layer, LPD, FOMM, MRAA, HeadGAN) 的降解结果。从三幅中所可以看出，所特特案无论在貌似履历的依然上或者对躯干的大关键时刻总编都能获取比不上或与仅有也就是说模式相似的结果，充分说明了正则表达式的正确性。
貌似紧接著正则表达式对比 貌似翻修正则表达式对比另外，美国宇航局还给出了iPhone后端正则表达式的行驶效领军，现今该正则表达式默许iPhone后端 CPU 下以 25 fps 的帧领军三维降解 256x256 分辨领军的貌似紧接著三幅片，而仅有特案则均不默许iPhone后端 CPU 下的三维行驶。
iPhone后端行车整整最后，美国宇航局分别给出了正则表达式在 PC 后端和移动后端的行驶 demo 示例。
。安必丁治疗原发性膝骨关节炎癫痫医院
手术后吃什么补身体
济南不孕不育医院哪个好
手腕关节疼痛是怎么回事
肝斑怎么调理
新必奇蒙脱石散和益生菌怎么吃效果快
前列腺增生
牙痛最有效的止痛方法
英太青和塞来昔布哪个好
