该论文发表于2017年，并被选入。为了方便非专业人士阅读，下面的介绍将尽量避免英文和公式，尽可能简洁。

关键词：面部，面部sketch up放大缩小，深层，面部，基于

论文链接：A Deep Based for 3D Face and

介绍

人脸建模一直是计算机图形学与视觉领域的热门研究方向，包括卡通人物建模、人脸艺术设计、实时人脸重建等，尤其是交互式人脸建模。我们构建了一个快速、交互式、基于深度学习的人脸建模框架。只需简单勾勒一张人脸图片（），我们的模型就能快速生成相应的三维人脸模型，并能同时拟合面部轮廓和细节表情。同时，我们还提供了多种方式快速修改模型。实验表明，我们的结果具有很高的准确性和速度。

框架

我强烈建议你通过视频了解我们的框架：

：（）

腾讯视频： ()腾讯视频

框架流程如图所示：

初始绘制模式（ Mode ）

我们利用卷积神经网络（CNN）来学习二维画作的面部特征。如图所示，输入是一幅256*256的绘画图像，通过卷积层提取特征，结合每个像素的双线性插值编码，并采用不同的全连接层，最终输出50维的人脸向量和16维的表情向量。我们预设了50个人脸基和16个表情基，最终输出的模型就是向量与基的点积。我们可以实现近实时的渲染，即用户每画一条线，就快速输出对应拟合的三维模型。（对于卷积层，我们使用了比较老的，也尝试过比较新的网络结构，准确率并没有特别明显的提升；同时考虑到实时绘制的速度要求，选择了这样的折中方案。）

以下是一些真实的渲染结果：

连续绘制模式（-up 模式）

利用同样的卷积神经网络和区域形变技术（ ），我们为用户提供了修改简单的绘制方案。对于不熟练从白纸上绘制人像的用户，或者不想生成复杂脸型的用户，可以跳过第一步，直接进行连续绘制。在连续绘制模式下，单向工程（2D -> 3D）转变为双向工程（2D -> 3D）：用户可以直接从当前生成或预设的 3D 模型中获取一个 2D 人脸轮廓，并在此人脸轮廓基础上进行修改、删除、形变等；与第一步类似，通过这个 2D 轮廓可以生成对应的 3D 模型。

下图是一个典型的连续绘制模式生成的模型：

细粒度修改模式（基于）

我们提供了基于手势的精细修改模式sketch up放大缩小，如图所示，用户可以使用相应的手势选择图像区域进行形变，比如脸颊凸起、眉毛修改、面部轮廓修改等。用户的手势也是通过简单的卷积神经网络进行学习，输入是用户的绘制手势，输出是相应的操作。

其他

平均而言，基于我们的框架，新手只需要5到7分钟就能画出一张人脸模型，熟练之后，甚至可以在一两分钟内画出一张逼真的人脸模型。我们支持多种模型输出格式，方便与其他平台对接。用户在实时操作时可以无障碍地进行撤销和重做操作。用户操作窗口本身也支持各种常见的渲染操作，比如放大、缩小、旋转、移动等等。同时，我们还提供了人脸建模的数据库，里面包含了大量的人脸模型，以及它们不同的表情和夸张程度（的）

结尾

有了这个软件，你再也不用担心不会建模了！关于模型的更多细节和数学公式，请参考原论文。

----------------------------------

更新：鉴于大家的需求，我们会陆续上传demo文件和数据库数据（预计8月份），有需要的朋友可以先star一下我们的repo：/

雷锋网：本文原作者为香港大学计算机系大三学生，论文第二作者。更多内容及个人简历请访问我的个人网站。欢迎各类求职/PHD引荐。本文原刊登于知乎专栏，雷锋网对文章做了调整，不改变原意。

如有侵权请联系删除！