华智冰|人美声甜！这个“清华新生”火了，背景曝光( 二 ) 新生|虚拟|模型|人工智能|唐杰

这背后靠的强大研发团队支撑。唐杰介绍，有100多人参加“华智冰”项目的研发攻关。这100多人中，有七八十名清华学生。在算法部分，比如将文字转为图画，或者通过文字生成文字等很多工作，是清华的博士生及青年教师等参与完成的。

文章图片

文章图片

来源：清华大学
唐杰表示， “华智冰其实还比较小，只不过它的成长速度比人类快很多，如果说它今天只有6岁，也许明年可以到人类12岁的水平。 ”
作为虚拟学生， “华智冰”和普通学生的学习有很多不一样。她不是一门课一门课学习，而是一个数据包一个数据包(读取文字和影像数据)学习；虽然她有虚构的作息时间，但她可以永不停息地学习；她的学习过程也可能会运行出错，最糟糕的情况是整个模型需要重建，全部推倒重来。
小冰公司：实现完全虚拟生成不存在的面部
不同于一般的虚拟人物，华智冰背后依托的是中国“悟道”超大规模人工智能模型。小冰公司对此发表了声明，声明中小冰解释了华智冰项目的初衷：希望能够以智能模型作为核心，试验预训练模型能够带来哪些技术与应用方面的惊喜。
以下为小冰公司的具体声明：
随着视觉化交互内容（如短视频）的不断深化，对于人物出镜交互的需求越来越多。但是，由于人类的行为存在各种不稳定性，常常给商业机构和品牌方带去很大的风险与不确定性。对此，越来越多的商业机构、内容制作方与品牌方，呼唤一种安全可控的虚拟人类内容（含商业代言）产品化技术。
但是，已往付诸产品化的技术存在诸多问题：它无法像真实人类一样，生成足够丰富的面部 features ，且无法打通生成与替换的端到端流程。因此，只能实现真实人类面部间的替换，精度质量不足。
更严重的问题是，以往的方法无法从根源上避免隐私侵权风险。
新的产品化技术实现了完全虚拟生成不存在的面部，且具有足够丰富的 features ，从而能够实现精度更高的视觉化交互内容。尤其是，由于从根源上避免了使用任何真实人类面部的可能性，有效阻断以往技术无法避免的隐私侵权问题。从隐私角度，是一个重要的进步。
我们相信，虚拟人将成为未来视频内容的主要提供者之一，而安全、可控、无隐私风险和侵权风险是其前提。因此，小冰一直在这一趋势方向上进行探索，并从不同方面对这一领域做拓展研究。小冰与清华大学计算机系合作华智冰项目，正是在预训练模型方面进行合作，希望能够以智能模型作为核心，试验预训练模型能够带来哪些技术与应用方面的惊喜。
这次传播的视频，来自小冰发布会的进展汇报展示，为华智冰能力续写了一些新的进展， demo 小冰框架下最新的面部生成和 3D 视频封装技术成果。具体来说：视频中人物的面部特征，包括人脸、表情、口型等，全部由人工智能小冰框架 X Avatar 生成并进行融合；视频中的人物肢体、动作，包括手持吉他弹唱，来源于小冰团队成员鱼子酱酱录制的原始视频模版。视频中的歌声，由人工智能小冰框架 X Studio 生成。
除此之外，华智冰除了 3D 面部生成，以及歌声合成的优化，还有其他很多更底层的、涉及数字人“大脑”的新技术应用，例如在有机融合了知识图谱和预训练模型后，可以让数字人有常识和推理能力。华智冰正在不断“成长”中，还会有更多最新技术的应用，敬请期待。