什么？在这个众筹上亿的游戏里，角色居然能实时和你做同样的表情？

作者：KenBoNely

《星际公民》开发组公布了一个重要的新情报：游戏将使用面部识别技术，捕捉玩家的表情和动作并与游戏结合，让玩家间的互动变的更加真实有趣。

“通过捕捉玩家面部表情特征和运动轨迹，就可以实时投射到他们操纵的角色上。”开发组解释道。

游戏运用的是一种叫做FOIP（Face Over Internet Protocol）的技术，通过面部动作感应器侦查上百种脸部运动，就算在昏暗的光线下也能正常运作。

如果对电影特效制作有所了解的人应该知道，想要做出像《阿凡达》中那样栩栩如生的动画模型，必须在演员的脸上贴上信号发射点，用复杂的动作捕捉设备进行分析和绘制。

那么《星际公民》如何通过一台普通的电脑摄像头做到实时人脸动画呢？

虽然开发组并没有透露FOIP的技术原理，但我国也有类似的研究。

这是一种基于单个视频摄像机的实时人脸动画方法，该方法利用单个视频摄像机，实时跟踪人脸特征点的三维位置，并以此参数化人脸的姿势和表情，最终可以将这些参数映射到替身上以驱动动画角色的脸部动画。

该技术不需要高级的采集设备，只需要用户的普通视频摄像机上就可以达到实时的速度；

可以准确处理人脸各种大角度旋转、平移，和人脸的各种夸张表情；

还可以在不同光照和背景环境下工作，包括室内和有阳光的室外[1]。

>>原理分析

首先，玩家要提供各种姿势各种表情的照片，包括自然情况下的表情（刚性动作），和一些个体间差异较大的表情（非刚性动作）——比如歪嘴，露齿笑，嘟嘴等。

利用一种叫“二维图像回归器”分析后，获得一组独一无二的二维人脸特征点。

而游戏中使用的是三维的模型，所以要分析摄像机的内部参数获取深浅信息，生成表情融合模型，并获得图像的三维特征点。

对二维人脸特征点和三维特征点进行分析后，可以获得一个从二维图像转化到三维特征点的回归器。

这个回归器让之后从摄像头中获取的二维图像可以实时投射到三维空间中，转化成三维的人脸特征点。

但还没完，这样生成的三维人脸特征点并模拟出玩家的表情，需要结合之前获得的表情融合模型迭代优化，从而获得玩家表情和姿势的参数。

表情融合模型是什么？你可以想象一些画着各种各样表情的透明薄片，拿出几个不同的薄片，就能叠加组合成各种各样的表情。

表情融合模型包含从玩家采集到的自然形状表情（B0）和46个FACS（B1，B2，…，B46）表情，构成了用户表情的线性空间，通过插值就能组合出所有基本表情。

（表情计算公式）

如何获得表情融合模型？这里就涉及到了最小二乘法，利用已有的三维人脸表情数据库，对每一张标定了二维人脸特征点的二维图像进行拟合，获得47个变换矩阵、个体系数和表情系数。

因为这些数据都来自于同一个玩家，所以还要利用变换矩阵对这些数据进行优化，让个体系数统一。最终利用个体系数和不同的表情系数生成代表47个表情的矩阵参数，

获得了表情和姿势参数就大功告成，只要将参数映射到游戏角色模型上，就能看到屏幕里的角色和你露出一模一样的颜艺了。

而这一切在转瞬间（少于15毫秒）计算完成，从而实现让人感觉不到延迟的实时动态人脸动画。

据《星际公民》的制作者克里斯·罗伯特（Chris Roberts）所说，这是第一款使用面部识别和动态人脸动画的游戏。

“这是游戏史上革命性的一步。”

“有史以来第一次玩家可以通过全面的表情，而非仅靠声音交流。就算在虚拟世界里，也能获得栩栩如生的游戏社交体验。”

据说《侠盗猎车手》和《命运》也将运用这个技术。

参考资料：

[1]浙江大学,周昆, 翁彦琳, 曹晨. 基于单个视频摄像机的实时人脸动画方法:, CN 103093490 A[P]. 2013.

https://www.gamespot.com/articles/star-citizen-adding-real-time-facial-animation-sys/1100-6452887/

“

虾丸君：你们会做什么动作？（突然想起如果还可以捏脸+MOD的话……玩法可就多了……）

别瞎玩

ID：geekgaming

游戏，一部时代的科学史

更多文章请移步菜单栏“虾丸主线”和“虾丸社区”游览

如有投稿或合作意向可发至geekgaming@163.com邮箱