如何实现实时面捕

[来源:管理员]  发表于  2021-12-22    

面捕全程为“面捕动作捕捉系统”,能实现脸部动作与动画的迁移。

T9动画就具备了面捕捕捉功能。

但面捕动作捕捉与迁移功能分成2类,

一类为实时面捕迁移,主要用于对实时性要求很强的直播功能。

另一类是用于制作AI视频的工具,

比如红及一时的“吗咿呀嘿”

两者用途用途不同,实现原理也并不相同,

想实现吗咿呀嘿,需要两个素材文件。

1是模仿的原稿视频,另一个就是想让谁模仿,就来一张他的照片。

照片必须为正脸,能识五官,AI通过将视频中的每一帧进行迁移复制,最终再将迁移好的图片组合形成视频。

其计算量还是比较大的。需要专用的GPU服务器才能完成。


目前T9动画所使用的实时面捕功能,与此原理完全不同。

T9算法通过客户端直接,实时分析面捕动作变化,

每秒内可完成30-60帧视频运算。

同时,再将识别到的动作赋值给一个动画模型。当然他可以是一个3D模型,也可以是一个2D卡通人物。

在形象上没束缚。


T9动画拥有网页版本,无需下载即可直接体验。

赶快来试试实时面捕把!