第三代数字人系统正式上线

公告动态  发表于    

内容摘要

随着AI技术的快速迭代, 数字人 相关的技术也在快速的升级迭代。 T9数字人,从经过了三代产品的迭代,正式进入了V3.0阶段。 一代数字人,也是AI界的第一代数字人技术, 通过截取视频中的每一帧,去修改这一帧对应的口型。 由于每个人的嘴巴,牙齿都不一样,虽然做了很多泛化训练,任然

正文内容

随着AI技术的快速迭代,

数字人相关的技术也在快速的升级迭代。

T9数字人,从经过了三代产品的迭代,正式进入了V3.0阶段。

第三代数字人系统正式上线配图1

一代数字人,也是AI界的第一代数字人技术,

通过截取视频中的每一帧,去修改这一帧对应的口型。

由于每个人的嘴巴,牙齿都不一样,虽然做了很多泛化训练,任然不能保证每个人物克隆后都能完美呈现。

但市场上应然有非常多的数字人仍然处于第一代水平。

第一代有个巨大的优点,就是由于只生成音频对应的口型,其余地方都不修改,

让一代产品速度很快,在3060显卡下,基本能做到实时生成,对于一些对数字人实时性高的场景,

目前也都只有这一种方案可行,比如数字人实时对话,数字人直播,都在用这代技术。

为了能让画面更清晰,表情更自然,

我们开发了第二代数字人,

第二代数字人不再只修改口型,而是整张脸进行生成,

这样大幅度提升了画面的清晰度和表情的自然度。

但由于人物动作都是提前录制好的,一直在循环一个动作,

人物动作与口型是两条路,没有任何关联,有时也看起来非常奇怪,时间长了,也显得非常单调。

为此,

我们研发了第三代数字人技术,

第三代数字人进去了每帧画面完全重绘时代,

人物动作表情都可以根据说话内容进行匹配与调整。

清晰度,动作流畅度都有了大幅度提升,

在某种程度上,与真人无意。