一种基于深度学习的人脸漫画生成方法及其装置[发明专利]

(12)发明专利申请

(10)申请公布号 CN 108596839 A(43)申请公布日 2018.09.28

(21)申请号 201810242803.6(22)申请日 2018.03.22

(71)申请人 中山大学

地址 510006 广东省广州市海珠区新港西

路135号(72)发明人 曾坤　朱普良　郑贵锋　(51)Int.Cl.

G06T 3/60(2006.01)G06T 7/11(2017.01)G06T 3/40(2006.01)G06N 3/08(2006.01)G06K 9/00(2006.01)

权利要求书3页 说明书11页 附图4页

(54)发明名称

一种基于深度学习的人脸漫画生成方法及其装置(57)摘要

本发明公开开了一种基于深度学习的人脸漫画生成方法及其装置，其中，该方法包括：获取个人图像，标定出77个人脸特征点；进行重新估计及旋转操作，获得含有正面标准姿态人脸的图像；根据其图像构建人脸矩形框；并等比放大三倍、进行裁剪，构建人头图像块；同时，裁剪出人脸矩形框对应图像，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；根据人脸的性别及五官属性标签、人头图像块及人脸矩形框对应图像，在漫画素材库中选择相应的素材，进行相应形变处理，获得五官、头发及人脸肤底的漫画素材；然后进行拼接处理，最终获得漫画图像。在本发明实施例中，能够实现智能化人脸漫画的绘制，不惜要任何的人工辅助。

CN 108596839 ACN 108596839 A

权　利　要　求　书

1/3页

1.一种基于深度学习的人脸漫画生成方法，其特征在于，所述方法包括：获取个人图像，在照片中标定出77个人脸特征点；

根据标定的36号左眼眼球特征点和39号右眼眼球特征点对图像中的人脸倾斜角度进行估计处理，通过计算出的倾斜角度对原图像进行旋转操作，使得36号左眼眼球特征点和39号右眼眼球特征点达到水平位置，即获得含有正面标准姿态人脸的图像；

获取含有正面标准姿态人脸图像，标定出其图像中77个特征点，从中获取2号、12号、15号和17号四个特征点，构建人脸矩形框；

将人脸矩形框按中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，构建人头图像块；

获取含有正面标准姿态人脸照片中的77个特征点，裁剪出人脸中五官的所在矩形区域，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；

根据人脸的性别及五官属性标签，在漫画素材库中选择相应的五官素材，以输入的对应真实图片为参考，对选定素材进行相应形变处理，获得对应生成的五官漫画素材；

对所述人头图像块进行计算、分割处理，获得头发精分割区域，结合所述人脸性别属性，在漫画素材库中选出相应的头发素材，以输入的对应真实图片为参考，对选定的头发漫画素材进行相应形变处理，获得对应生成的头发漫画素材；

获取所述人脸矩形框，结合所述人脸性别属性，在相应的漫画素材库中选出人脸肤底素材，进行形变处理，获得对应生成的人脸肤底漫画素材；

结合所述的五官漫画素材、头发漫画素材、人脸肤底漫画素材，按照原真实照片中对应所在位置进行拼接处理，最终获得漫画图像。

2.根据权利要求1所述的一种基于深度学习的人脸漫画生成方法，其特征在于，所述获得人脸的性别及五官属性标签的具体步骤包括：

将人脸按照性别给予男、女属性标签，将人的眉毛按照其茂密程度给予浓密、稀疏属性标签，将人眼睛按照眼睛睁开程度给予睁眼、眯眼属性标签，将人眼睛按照眼皮类型给予单眼皮、双眼皮属性标签，将人的嘴巴按照嘴角弧度给予上扬、平整、下弯标签，将人的嘴巴按照张开与否给予张开、紧闭标签。将人的嘴巴按照是否露出牙齿给予漏齿、不漏齿标签，将所有这些属性整合，即可获得人脸属性标签表。

构建真人五官分类的训练图像数据库，在卷积神经网络框架环境下，利用预先训练好的超深卷积神经网络进行多标签训练处理，获得可以输出图像块对应类别标签的人脸及五官属性多标签分类深度卷积神经预测网络；

获取人脸矩形框对应的图像块，进行归一化为224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得人脸的性别属性标签；

获取左眉毛图像块区域(新六边形A1)，取其外接矩形

将外接矩形

从原输入个人

图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眉毛属性标签；

获取右眉毛图像块区域(新六边形B1)，取其外接矩形

将外接矩形

从原输入个人

图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积

2

CN 108596839 A

权　利　要　求　书

将外接矩形

2/3页

神经预测网络进行预测处理，获得右眉毛属性标签；

获取左眼图像块区域(新八边形C1)，取其外接矩形

从原输入个人图

像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眼属性标签；

获取右眼图像块区域(新八边形D1)，取其外接矩形

将外接矩形

从原输入个人图

像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得右眼属性标签；

获取鼻子图像块区域(梯形E)，取其外接矩形RE，将外接矩形RE从原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得鼻子属性标签；

获取嘴巴图像块区域(新十二边形F1)，取其外接矩形

将外接矩形

从原输入个人

图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得嘴巴属性标签。

3.根据权利要求2所述的一种基于深度学习的人脸漫画生成方法，其特征在于，所述人脸属性标签表整合出来的同时，根据其标签表构建出漫画素材库。

4.根据权利要求1所述的一种基于深度学习的人脸漫画生成方法，其特征在于，所述的对所述人头图像块进行分割处理的具体步骤包括：

获取所述人头图像块，通过深度学习物体识别模型对人头图像块中的头发区域进行计算处理，获得头发粗分割区域，

获取头发粗区域，利用图割算法进行再分割处理，获得头发精分割区域。5.根据权利要求4所述的一种基于深度学习的人脸漫画生成方法，其特征在于，所述利用图割算法进行再分割处理的具体步骤包括：

将所述头发区域的粗分割掩模图M3范围内的所有像素点进行累加求平均值处理，获得该头发粗分割区域内的前景像素点平均值；

将所述头发区域的粗分割掩模图M3范围外的所有像素点进行累加求平均值处理，获得该头发粗分割区域外的前景像素点平均值；

根据所述该头发粗分割区域内的前景像素点平均值及所述该头发粗分割区域外的前景像素点平均值，通过图割算法在所述头发区域的粗分割掩模图M3所对应的头发粗分割区域内进行分割处理，获得头发精分割区域。

6.根据权利要求1所述的一种基于深度学习的人脸漫画生成方法，其特征在于，所述的按照原真实照片中对应所在位置进行拼接处理的具体步骤包括：

获取人脸肤底漫画素材，将头发漫画素材在泊松融合的前景融合模式下，与人脸肤底漫画素材进行融合，获得具有头发的人脸肤底漫画素材半成品；

获取具有头发的人脸肤底漫画素材半成品，将五官漫画素材在泊松融合的前景融合模式下，与具有头发的人脸肤底漫画素材半成品进行融合，获得最终的漫画图像。

7.一种基于深度学习的人脸漫画生成装置，其特征在于，所述装置包括：提取特征模块，用于获取个人图像中人脸特征点；调正模块，用于根据获取的个人图像中人脸特征点进行旋转成正面标准姿态人脸的处理；

3

CN 108596839 A

权　利　要　求　书

3/3页

构建模块，用于构建人脸矩形框、人头图像块；生成模块，用于生成对应的漫画素材；拼接模块，用于将对应的漫画素材拼接成个人的漫画图像。

8.根据权利要求7所述的一种基于深度学习的人脸漫画生成装置，其特征在于，所述的构建模块还用于根据含有正面标准姿态人脸照片中的五官的所在矩形区域，生成人脸的性别及五官属性标签。

4

CN 108596839 A

说　明　书

一种基于深度学习的人脸漫画生成方法及其装置

1/11页

技术领域

[0001]本发明涉及计算机非真实渲染技术领域，尤其涉及一种基于深度学习的人脸漫画生成方法及其装置。

背景技术

[0002]近年来，随着计算机图像处理技术的发展，越来越多的人脸漫画生成应用如脸萌、魔漫相机、FaceU走进了我们的生活，它们都使用计算机图像处理技术对真实的人像进行渲染，从而生成生动的人物漫画形象。一般而言，需要生成人脸漫画图像传统的漫画生成系统可以分为两类，第一类是依靠素材拼组合来创作漫画的漫画生成系统，其典型应用实例为手机应用“脸萌”。另外一类漫画生成装置是以计算机图像处理技术为基础的，直接对真人人像进行修改，再将修改后的真人人像与预先准备好的模板素材相融合构成漫画的漫画生成装置，其代表作为魔漫相机。如“脸萌”的技术缺点：(1)人脸漫画生成的一大要素是要像，即生成的漫画和目标真实人脸之间应该存在着一定程度的相似性。而在脸萌的技术方案中，生成漫画所用的所有素材都需要通过用户手动挑选，这就导致了用户很难快速地拼合出一幅与目标真实人脸极为神似的人脸漫画，同时这样手动拼接素材的方式也不利于批量地创作漫画或是动画化。[0003](2)在“脸萌”中，漫画素材虽然可以随意替换，但是漫画素材拼接的位置是固定的，这减少了生成的漫画与真实人脸之间的契合度。[0004](3)在脸萌中，可供挑选的素材是有限的，有限的素材无法满足所有人都创建出属于自己的独一无二的漫画形象的需求。[0005]又如魔漫相机，其缺点：(1)将整幅人脸当做图像，利用计算机图像处理技术进行处理的方法进行漫画人脸生成，生成的漫画人脸看上去更像是一幅灰色的人脸照片，较为生硬，不具备漫画的艺术效果。[0006](2)偏向真实的漫画人脸与艺术家创作的其他可选素材之间存在着不匹配，这让生成的漫画效果显得不自然。[0007](3)为了让漫画人脸与其他素材相匹配，漫画生成装置需要人工仔细挑选所使用的漫画素材以免产生违和感，这就导致了魔漫相机所支持的漫画风格极其有限。发明内容

[0008]本发明的目的在于克服现有技术的不足，本发明提供了一种基于深度学习的人脸漫画生成方法及其装置，能够通过将类别中的素材进行形变的方式，获取所需的素材，这样的好处是一方面减少了对于漫画素材的需求，另一方面增大了漫画素材与真人照片的契合程度，实现智能化人脸漫画的绘制，不惜要任何的人工辅助。[0009]为了解决上述问题，本发明提出了一种基于深度学习的人脸漫画生成方法，所述方法包括：

[0010]获取个人图像，利用主动形状模型在照片中标定出77个人脸特征点；

5

CN 108596839 A[0011]

说　明　书

2/11页

根据标定的36号左眼眼球特征点和39号右眼眼球特征点对图像中的人脸倾斜角

度进行估计处理，通过计算出的倾斜角度对原图像进行旋转操作，使得36号左眼眼球特征点和39号右眼眼球特征点达到水平位置，即获得含有正面标准姿态人脸的图像；[0012]获取含有正面标准姿态人脸图像，通过主动形状模型标定出其图像中77个特征点，从中获取2号、12号、15号和17号四个特征点，构建人脸矩形框；[0013]将人脸矩形框按中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，构建人头图像块；

[0014]获取含有正面标准姿态人脸照片中的77个特征点，裁剪出人脸中五官的所在矩形区域，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；[0015]根据人脸的性别及五官属性标签，在漫画素材库中选择相应的五官素材，以输入的对应真实图片为参考，通过深度图像模仿算法对选定素材进行相应形变处理，获得对应生成的五官漫画素材；

[0016]对所述人头图像块进行计算、分割处理，获得头发精分割区域，结合所述人脸性别属性，在漫画素材库中选出相应的头发素材，以输入的对应真实图片为参考，通过深度图像模仿算法对选定的头发漫画素材进行相应形变处理，获得对应生成的头发漫画素材；[0017]获取所述人脸矩形框，结合所述人脸性别属性，在相应的漫画素材库中选出人脸肤底素材，通过深度图像模仿算法进行形变处理，获得对应生成的人脸肤底漫画素材；[0018]结合所述的五官漫画素材、头发漫画素材、人脸肤底漫画素材，利用泊松融合的方式按照原真实照片中对应所在位置进行拼接处理，最终获得漫画图像。[0019]优选地，所述利用主动形状模型在照片中标定出77个人脸特征点是固定位置、固定编号的。

[0020]优选地，所述裁剪出人脸中五官的所在矩形区域中五官包括：眉毛、眼睛、嘴巴、鼻子。

[0021]优选地，所述裁剪出人脸中五官的所在矩形区域的具体步骤包括：

[0022]获取含有正面标准姿态人脸照片中的77个特征点中16号到21号特征点，构成六边形A，其中心为J，将六边形A以中心不变的等比扩大1.5倍，获得左眉毛图像块区域(新六边形A1)；

[0023]获取含有正面标准姿态人脸照片中的77个特征点中22号到27号特征点，构成六边形B，其中心为G，将六边形B以中心不变的等比扩大1.5倍，获得右眉毛图像块区域(新六边形B1)；

[0024]获取含有正面标准姿态人脸照片中的77个特征点中30号到37号特征点，构成八边形C，其中心为H，将八边形C以中心不变的等比扩大1.5倍，获得左眼图像块区域(新八边形C1)；

[0025]获取含有正面标准姿态人脸照片中的77个特征点中40号到47号特征点，构成八边形D，其中心为K，将八边形D以中心不变的等比扩大1.5倍，获得右眼图像块区域(新八边形D1)；

[0026]获取含有正面标准姿态人脸照片中的77个特征点中21号、59号、65号、22号特征点构成梯形E，获得鼻子图像块区域；

6

CN 108596839 A[0027]

说　明　书

3/11页

获取含有正面标准姿态人脸照片中的77个特征点中59号到65号特征点及72号到

76号特征点构成的十二边形F，其中心为L，将十二边形F以中心不变的等比扩大1.2倍，获得嘴巴图像块区域(新十二边形F1)。[0028]优选地，所述获得人脸的性别及五官属性标签的具体步骤包括：[0029]将人脸按照性别给予男、女属性标签，将人的眉毛按照其茂密程度给予浓密、稀疏属性标签，将人眼睛按照眼睛睁开程度给予睁眼、眯眼属性标签，将人眼睛按照眼皮类型给予单眼皮、双眼皮属性标签，将人的嘴巴按照嘴角弧度给予上扬、平整、下弯标签，将人的嘴巴按照张开与否给予张开、紧闭标签。将人的嘴巴按照是否露出牙齿给予漏齿、不漏齿标签，将所有这些属性整合，即可获得人脸属性标签表，如图3所示。[0030]构建真人五官分类的训练图像数据库，在卷积神经网络框架环境下，利用预先训练好的超深卷积神经网络-16层进行多标签训练处理，获得可以输出图像块对应类别标签的人脸及五官属性多标签分类深度卷积神经预测网络；[0031]获取人脸矩形框对应的图像块，进行归一化为224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得人脸的性别属性标签；

[0032]

获取左眉毛图像块区域(新六边形A1)，取其外接矩形将外接矩形从原输入

个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眉毛属性标签；

[0033]

获取右眉毛图像块区域(新六边形B1)，取其外接矩形将外接矩形从原输入

个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得右眉毛属性标签；

[0034]

获取左眼图像块区域(新八边形C1)，取其外接矩形将外接矩形从原输入个

人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眼属性标签；

[0035]

获取右眼图像块区域(新八边形D1)，取其外接矩形将外接矩形从原输入个

人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得右眼属性标签；[0036]获取鼻子图像块区域(梯形E)，取其外接矩形RE，将外接矩形RE从原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得鼻子属性标签；

[0037]

获取嘴巴图像块区域(新十二边形F1)，取其外接矩形将外接矩形从原输入

个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得嘴巴属性标签。[0038]优选地，所述人脸属性标签表整合出来的同时，根据其标签表构建出漫画素材库。[0039]优选地，所述真人五官分类的训练图像数据库用于微调已经与预先训练好的超深卷积神经网络-16层。其中，所述真人五官分类的训练图像数据库的每个条目包括该训练图像的文件路径以及其按照其在所述人脸属性标签表中的属性存在情况而获得的属性标签。[0040]优选地，所述的对所述人头图像块进行分割处理的具体步骤包括：[0041]获取所述人头图像块，通过深度学习物体识别模型对人头图像块中的头发区域进

7

CN 108596839 A

说　明　书

4/11页

行计算处理，获得头发粗分割区域，[0042]获取头发粗区域，利用图割算法进行再分割处理，获得头发精分割区域。[0043]优选地，所述通过深度学习物体识别模型对人头图像块中的头发区域进行分割处理的具体步骤包括：

[0044]获取真人人像照片，对每一张照片按照中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪处理，获得真人人头图像块；[0045]获取真人人头图像块，进行归一化处理，规格为224*224大小，并使用图像标注工具对其进行像素级别的标注，如果人头图像块中的某一像素点属于头发，则在其位置标记上1，反之标记上0。

[0046]获取归一化后的真人人头图像块，对其每个像素位置，都以该像素位置为中心，裁剪出大小为32*32的正方形图像块，获得224*224个边长为32的正方形图像块；其中，正方形图像块超出了原真人人像照片的部分用白色补齐。

[0047]对所有的大小为32*32的正方形图像块进行统计其中属于头发像素点数量的处理，如果该所述头发像素点数量占比大于40％，则判定为该图像块属于真人人头图像块中头发部分，给予其标签1，反之给予其标签0；[0048]对每个带标签、大小为32*32的正方形图像块，进行归一化处理，成为64*64大小，并连同其标签存入头发训练图像数据库G1；[0049]获取归一化后的真人人头图像块，对其每个像素位置，都以该像素位置为中心，裁剪出大小为64*64的正方形真人人头图像块，获得224*224个边长为64的正方形真人人头图像块；其中，正方形真人人头图像块超出了原真人人像照片的部分用白色补齐。

[0050]对所有的大小为64*64的正方形图像块进行统计其中属于头发像素点数量的处理，如果该所述头发像素点数量占比大于40％，则判定为该图像块属于真人人头图像块中头发部分，给予其标签1，反之给予其标签0；[0051]将每个带标签、大小为64*64的正方形图像块存入头发训练图像数据库G2；[0052]利用卷积神经网络框架，加载预训练好的深度卷积神经网络模型ZF1和深度卷积神经网络模型ZF2，令两个网络模型对输入图像进行二分类处理，既含有头发(1)和不含有头发(0)；

[0053]获取所述人头图像块，进行归一化处理，得到224*224大小的人头图像块；[0054]构造头发似然统计图M1，M1的大小为224*224，初始值为0；其中，M1中每个位置的值代表该位置是头发的得票数。

[0055]获取224*224个边长为64的正方形图像块，通过深度卷积神经网络模型ZF1进行预测处理，获得标签：含头发(1)和不含头发(0)；

[0056]获取带有标签的224*224个边长为64的正方形图像块，找出归一化前对应的32*32的正方形图像块，根据像素位置找到其在头发统计似然图M1中的对应区域，如果该正方形图像块的标签是含头发(1)，则将这一区域的像素值加一，否则将该正方形图像块的标签是不含头发(0)所在区域的像素值减一；当整个头发统计似然图M1统计完成后，对于头发统计似然图M1中每个像素p，若p>0，则p＝1，否则p＝0。[0057]构造头发似然统计图M2，M2的大小为224*224，初始值为0；其中，M2中每个位置的值代表该位置是头发的得票数。

8

CN 108596839 A[0058]

说　明　书

5/11页

获取S7106中所述的224*224个边长为64的正方形图像块，通过深度卷积神经网络

模型ZF2进行预测处理，获得标签：含头发(1)和不含头发(0)；[0059]获取带有标签的224*224个边长为64的正方形图像块，根据像素位置找到其在头发统计似然图M2中的对应区域，如果该正方形图像块的标签是含头发(1)，则将这一区域的像素值加一，否则将该正方形图像块的标签是不含头发(0)所在区域的像素值减一；当整个头发统计似然图M2统计完成后，对于头发统计似然图M2中每个像素p，若p>0，则p＝1，否则p＝0。

[0060]将头发统计似然图M1和头发统计似然图M2进行矩阵点乘操作处理，则获得头发区域的粗分割掩模图M3，其所对应的则为头发粗分割区域。[0061]优选地，所述利用图割算法进行再分割处理的具体步骤包括：

[0062]将所述头发区域的粗分割掩模图M3范围内的所有像素点进行累加求平均值处理，获得该头发粗分割区域内的前景像素点平均值；

[0063]将所述头发区域的粗分割掩模图M3范围外的所有像素点进行累加求平均值处理，获得该头发粗分割区域外的前景像素点平均值；

[0064]根据所述该头发粗分割区域内的前景像素点平均值及所述该头发粗分割区域外的前景像素点平均值，通过图割算法在所述头发区域的粗分割掩模图M3所对应的头发粗分割区域内进行分割处理，获得头发精分割区域。[0065]优选地，所述真人人像照片需含有真人正脸图像及完整的头发，并且按照中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，获得真人人头图像块。其中，人头图像块的长度不小于224像素，宽度不小于224像素。一共收集100张合规的真人人像照片，其中长发五十张，短发五十张。[0066]优选地，所述加载预训练好的深度卷积神经网络模型的具体步骤为：将头发训练图像数据库G1和头发训练图像数据库G2作为训练数据输入分别载入深度卷积神经网络模型ZF1和深度卷积神经网络模型ZF2中进行训练，得到的结果即训练好的深度卷积神经网络模型ZF1和深度卷积神经网络模型ZF2，在进行预测时，直接对该模型进行加载。[0067]优选地，所述的利用泊松融合的方式按照原真实照片中对应所在位置进行拼接处理的具体步骤包括：

[0068]获取人脸肤底漫画素材，将头发漫画素材在泊松融合的前景融合模式下，与人脸肤底漫画素材进行融合，获得具有头发的人脸肤底漫画素材半成品；[0069]获取具有头发的人脸肤底漫画素材半成品，将五官漫画素材在泊松融合的前景融合模式下，与具有头发的人脸肤底漫画素材半成品进行融合，获得最终的漫画图像。[0070]相应地，本发明实施例还公开了一种基于深度学习的人脸漫画生成装置，所述装置包括：

[0071]提取特征模块，用于获取个人图像中人脸特征点；[0072]调正模块，用于根据获取的个人图像中人脸特征点进行旋转成正面标准姿态人脸的处理；

[0073]构建模块，用于构建人脸矩形框、人头图像块；[0074]生成模块，用于生成对应的漫画素材；[0075]拼接模块，用于将对应的漫画素材拼接成个人的漫画图像。

9

CN 108596839 A[0076]

说　明　书

6/11页

优选地，所述的构建模块还用于根据含有正面标准姿态人脸照片中的五官的所在

矩形区域，生成人脸的性别及五官属性标签。[0077]在本发明实施例中，能够通过将类别中的素材进行形变的方式，获取所需的素材，一方面减少了对于漫画素材的需求，另一方面增大了漫画素材与真人照片的契合程度；实现智能化人脸漫画的绘制，不需要任何的人工辅助。附图说明

[0078]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

[0079]图1是本发明实施例的一种基于深度学习的人脸漫画生成方法的流程示意图；[0080]图2是本发明实施例的一种基于深度学习的人脸漫画生成方法中利用主动形状模型标定人脸特征点的示意图；

[0081]图3是本发明实施例的一种基于深度学习的人脸漫画生成方法中人脸面部属性标签表的示意图；

[0082]图4是本发明实施例的一种基于深度学习的人脸漫画生成装置的结构组成示意图。

具体实施方式

[0083]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0084]图1是本发明实施例的一种基于深度学习的人脸漫画生成方法的流程示意图，如图1所示，该方法包括：[0085]S1，获取个人图像，利用主动形状模型在照片中标定出77个人脸特征点；[0086]S2，根据标定的36号左眼眼球特征点和39号右眼眼球特征点对图像中的人脸倾斜角度进行估计处理，通过计算出的倾斜角度对原图像进行旋转操作，使得36号左眼眼球特征点和39号右眼眼球特征点达到水平位置，即获得含有正面标准姿态人脸的图像；[0087]S3，获取含有正面标准姿态人脸图像，通过主动形状模型标定出其图像中77个特征点，从中获取2号、12号、15号和17号四个特征点，构建人脸矩形框；[0088]S4，将人脸矩形框按中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，构建人头图像块；[0089]S5，获取含有正面标准姿态人脸照片中的77个特征点，裁剪出人脸中五官的所在矩形区域，进行归一化处理，并依次送入预先训练好的人脸及五官属性多标签分类深度卷积神经预测网络，获得人脸的性别及五官属性标签；[0090]S6，根据人脸的性别及五官属性标签，在漫画素材库中选择相应的五官素材，以输入的对应真实图片为参考，通过深度图像模仿算法对选定素材进行相应形变处理，获得对

10

CN 108596839 A

说　明　书

7/11页

应生成的五官漫画素材；[0091]S7，对所述人头图像块进行计算、分割处理，获得头发精分割区域，结合所述人脸性别属性，在漫画素材库中选出相应的头发素材，以输入的对应真实图片为参考，通过深度图像模仿算法对选定的头发漫画素材进行相应形变处理，获得对应生成的头发漫画素材；[0092]S8，获取所述人脸矩形框，结合所述人脸性别属性，在相应的漫画素材库中选出人脸肤底素材，通过深度图像模仿算法进行形变处理，获得对应生成的人脸肤底漫画素材；[0093]S9，结合所述的五官漫画素材、头发漫画素材、人脸肤底漫画素材，利用泊松融合的方式按照原真实照片中对应所在位置进行拼接处理，最终获得漫画图像。[0094]其中，如图2所示，S1中所述利用主动形状模型在照片中标定出77个人脸特征点是固定位置、固定编号的。[0095]具体地，S5中所述裁剪出人脸中五官的所在矩形区域中五官包括：眉毛、眼睛、嘴巴、鼻子。

[0096]进一步地，S5中所述裁剪出人脸中五官的所在矩形区域的具体步骤包括：[0097]S5101，获取含有正面标准姿态人脸照片中的77个特征点中16号到21号特征点，构成六边形A，其中心为J，将六边形A以中心不变的等比扩大1.5倍，获得左眉毛图像块区域(新六边形A1)；[0098]S5102，获取含有正面标准姿态人脸照片中的77个特征点中22号到27号特征点，构成六边形B，其中心为G，将六边形B以中心不变的等比扩大1.5倍，获得右眉毛图像块区域(新六边形B1)；[0099]S5103，获取含有正面标准姿态人脸照片中的77个特征点中30号到37号特征点，构成八边形C，其中心为H，将八边形C以中心不变的等比扩大1.5倍，获得左眼图像块区域(新八边形C1)；

[0100]S5104，获取含有正面标准姿态人脸照片中的77个特征点中40号到47号特征点，构成八边形D，其中心为K，将八边形D以中心不变的等比扩大1.5倍，获得右眼图像块区域(新八边形D1)；

[0101]S5105，获取含有正面标准姿态人脸照片中的77个特征点中21号、59号、65号、22号特征点构成梯形E，获得鼻子图像块区域；[0102]S5106，获取含有正面标准姿态人脸照片中的77个特征点中59号到65号特征点及72号到76号特征点构成的十二边形F，其中心为L，将十二边形F以中心不变的等比扩大1.2倍，获得嘴巴图像块区域(新十二边形F1)。[0103]进一步地，S5中所述获得人脸的性别及五官属性标签的具体步骤包括：[0104]S5201，将人脸按照性别给予男、女属性标签，将人的眉毛按照其茂密程度给予浓密、稀疏属性标签，将人眼睛按照眼睛睁开程度给予睁眼、眯眼属性标签，将人眼睛按照眼皮类型给予单眼皮、双眼皮属性标签，将人的嘴巴按照嘴角弧度给予上扬、平整、下弯标签，将人的嘴巴按照张开与否给予张开、紧闭标签。将人的嘴巴按照是否露出牙齿给予漏齿、不漏齿标签，将所有这些属性整合，即可获得人脸属性标签表，如图3所示。[0105]S5202，构建真人五官分类的训练图像数据库，在卷积神经网络框架环境下，利用预先训练好的超深卷积神经网络-16层进行多标签训练处理，获得可以输出图像块对应类别标签的人脸及五官属性多标签分类深度卷积神经预测网络；

11

CN 108596839 A[0106]

说　明　书

8/11页

S5203，获取人脸矩形框对应的图像块，进行归一化为224*244大小，通过人脸及五

官属性多标签分类深度卷积神经预测网络进行预测处理，获得人脸的性别属性标签；

S5204，获取左眉毛图像块区域(新六边形A1)，取其外接矩形

将外接矩形

从

原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眉毛属性标签；

[0107]

[0108]S5205，获取右眉毛图像块区域(新六边形B1)，取其外接矩形将外接矩形从

原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得右眉毛属性标签；

[0109]

S5206，获取左眼图像块区域(新八边形C1)，取其外接矩形将外接矩形从原

输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得左眼属性标签；

[0110]

S5207，获取右眼图像块区域(新八边形D1)，取其外接矩形将外接矩形从原

输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得右眼属性标签；[0111]S5208，获取鼻子图像块区域(梯形E)，取其外接矩形RE，将外接矩形RE从原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得鼻子属性标签；

[0112]

S5209，获取嘴巴图像块区域(新十二边形F1)，取其外接矩形将外接矩形从

原输入个人图像中裁剪下来，再进行归一化成224*244大小，通过人脸及五官属性多标签分类深度卷积神经预测网络进行预测处理，获得嘴巴属性标签。[0113]具体地，S5201中所述人脸属性标签表整合出来的同时，根据其标签表构建出漫画素材库。

[0114]具体地，S5202中所述真人五官分类的训练图像数据库用于微调已经与预先训练好的超深卷积神经网络-16层。其中，所述真人五官分类的训练图像数据库的每个条目包括该训练图像的文件路径以及其按照其在所述人脸属性标签表中的属性存在情况而获得的属性标签。

[0115]进一步地，S7中所述的对所述人头图像块进行分割处理的具体步骤包括：[0116]S71，获取所述人头图像块，通过深度学习物体识别模型对人头图像块中的头发区域进行计算处理，获得头发粗分割区域，[0117]S72，获取头发粗区域，利用图割算法进行再分割处理，获得头发精分割区域。[0118]具体地，S71中所述通过深度学习物体识别模型对人头图像块中的头发区域进行分割处理的具体步骤包括：[0119]S7101，获取真人人像照片，对每一张照片按照中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪处理，获得真人人头图像块；[0120]S7102，获取真人人头图像块，进行归一化处理，规格为224*224大小，并使用图像标注工具对其进行像素级别的标注，如果人头图像块中的某一像素点属于头发，则在其位置标记上1，反之标记上0。[0121]S7103，获取归一化后的真人人头图像块，对其每个像素位置，都以该像素位置为

12

CN 108596839 A

说　明　书

9/11页

中心，裁剪出大小为32*32的正方形图像块，获得224*224个边长为32的正方形图像块；其中，正方形图像块超出了原真人人像照片的部分用白色补齐。[0122]S7104，对所有的大小为32*32的正方形图像块进行统计其中属于头发像素点数量的处理，如果该所述头发像素点数量占比大于40％，则判定为该图像块属于真人人头图像块中头发部分，给予其标签1，反之给予其标签0；[0123]S7105，对每个带标签、大小为32*32的正方形图像块，进行归一化处理，成为64*64大小，并连同其标签存入头发训练图像数据库G1；[0124]S7106，获取归一化后的真人人头图像块，对其每个像素位置，都以该像素位置为中心，裁剪出大小为64*64的正方形真人人头图像块，获得224*224个边长为64的正方形真人人头图像块；其中，正方形真人人头图像块超出了原真人人像照片的部分用白色补齐。[0125]S7107，对所有的大小为64*64的正方形图像块进行统计其中属于头发像素点数量的处理，如果该所述头发像素点数量占比大于40％，则判定为该图像块属于真人人头图像块中头发部分，给予其标签1，反之给予其标签0；[0126]S7108，将每个带标签、大小为64*64的正方形图像块存入头发训练图像数据库G2；[0127]S7109，利用卷积神经网络框架，加载预训练好的深度卷积神经网络模型ZF1和深度卷积神经网络模型ZF2，令两个网络模型对输入图像进行二分类处理，既含有头发(1)和不含有头发(0)；[0128]S7110，获取S4中所述的人头图像块，进行归一化处理，得到224*224大小的人头图像块；

[0129]S7111，构造头发似然统计图M1，M1的大小为224*224，初始值为0；其中，M1中每个位置的值代表该位置是头发的得票数。[0130]S7112，获取224*224个边长为64的正方形图像块，通过深度卷积神经网络模型ZF1进行预测处理，获得标签：含头发(1)和不含头发(0)；[0131]S7113，获取带有标签的224*224个边长为64的正方形图像块，找出归一化前对应的32*32的正方形图像块，根据像素位置找到其在头发统计似然图M1中的对应区域，如果该正方形图像块的标签是含头发(1)，则将这一区域的像素值加一，否则将该正方形图像块的标签是不含头发(0)所在区域的像素值减一；当整个头发统计似然图M1统计完成后，对于头发统计似然图M1中每个像素p，若p>0，则p＝1，否则p＝0。[0132]S7114，构造头发似然统计图M2，M2的大小为224*224，初始值为0；其中，M2中每个位置的值代表该位置是头发的得票数。[0133]S7115，获取S7106中所述的224*224个边长为64的正方形图像块，通过深度卷积神经网络模型ZF2进行预测处理，获得标签：含头发(1)和不含头发(0)；[0134]S7116，获取带有标签的224*224个边长为64的正方形图像块，根据像素位置找到其在头发统计似然图M2中的对应区域，如果该正方形图像块的标签是含头发(1)，则将这一区域的像素值加一，否则将该正方形图像块的标签是不含头发(0)所在区域的像素值减一；当整个头发统计似然图M2统计完成后，对于头发统计似然图M2中每个像素p，若p>0，则p＝1，否则p＝0。

[0135]S7117，将头发统计似然图M1和头发统计似然图M2进行矩阵点乘操作处理，则获得头发区域的粗分割掩模图M3，其所对应的则为头发粗分割区域。

13

CN 108596839 A[0136]

说　明　书

10/11页

进一步地，S72中所述利用图割算法进行再分割处理的具体步骤包括：

[0137]S7201，将所述头发区域的粗分割掩模图M3范围内的所有像素点进行累加求平均值处理，获得该头发粗分割区域内的前景像素点平均值；[0138]S7202，将所述头发区域的粗分割掩模图M3范围外的所有像素点进行累加求平均值处理，获得该头发粗分割区域外的前景像素点平均值；[0139]S7203，根据所述该头发粗分割区域内的前景像素点平均值及所述该头发粗分割区域外的前景像素点平均值，通过图割算法在所述头发区域的粗分割掩模图M3所对应的头发粗分割区域内进行分割处理，获得头发精分割区域。[0140]具体地，S7101中所述真人人像照片需含有真人正脸图像及完整的头发，并且按照中心不变的方式等比放大三倍，并将其放大后的矩形框圈定的图像区域进行裁剪，获得真人人头图像块。其中，人头图像块的长度不小于224像素，宽度不小于224像素。一共收集100张合规的真人人像照片，其中长发五十张，短发五十张。[0141]具体地，S7109中所述加载预训练好的深度卷积神经网络模型的具体步骤为：将头发训练图像数据库G1和头发训练图像数据库G2作为训练数据输入分别载入深度卷积神经网络模型ZF1和深度卷积神经网络模型ZF2中进行训练，得到的结果即训练好的深度卷积神经网络模型ZF1和深度卷积神经网络模型ZF2，在进行预测时，直接对该模型进行加载。[0142]进一步地，S9中所述的利用泊松融合的方式按照原真实照片中对应所在位置进行拼接处理的具体步骤包括：[0143]S9101，获取人脸肤底漫画素材，将头发漫画素材在泊松融合的前景融合模式下，与人脸肤底漫画素材进行融合，获得具有头发的人脸肤底漫画素材半成品；[0144]S9102，获取具有头发的人脸肤底漫画素材半成品，将五官漫画素材在泊松融合的前景融合模式下，与具有头发的人脸肤底漫画素材半成品进行融合，获得最终的漫画图像。[0145]相应地，本发明实施例还公开了一种基于深度学习的人脸漫画生成装置，如图4所示，所述装置包括：

[0146]提取特征模块，用于获取个人图像中人脸特征点；[0147]调正模块，用于根据获取的个人图像中人脸特征点进行旋转成正面标准姿态人脸的处理；

[0148]构建模块，用于构建人脸矩形框、人头图像块；[0149]生成模块，用于生成对应的漫画素材；[0150]拼接模块，用于将对应的漫画素材拼接成个人的漫画图像。[0151]具体地，所述的构建模块还用于根据含有正面标准姿态人脸照片中的五官的所在矩形区域，生成人脸的性别及五官属性标签。[0152]具体地，本发明实施例的装置相关功能模块的工作原理可参见方法实施例的相关描述，这里不再赘述。

[0153]在本发明实施例中，能够通过将类别中的素材进行形变的方式，获取所需的素材，这样的好处是一方面减少了对于漫画素材的需求，另一方面增大了漫画素材与真人照片的契合程度，实现智能化人脸漫画的绘制，不惜要任何的人工辅助。

[0154]本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储

14

CN 108596839 A

说　明　书

11/11页

介质可以包括：只读存储器(ROM，ReadOnly Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。[0155]另外，以上对本发明实施例所提供的一种基于深度学习的人脸漫画生成方法及其装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

15

CN 108596839 A

说　明　书　附　图

1/4页

图1

16

CN 108596839 A

说　明　书　附　图

2/4页

图2

17

CN 108596839 A

说　明　书　附　图

3/4页

图3

18

CN 108596839 A

说　明　书　附　图

4/4页

图4

19