opencv深度学习：面部特征点匹配与图像融合--换脸

原理

通过使用深度学习库Dlib和计算机视觉库OpenCV，实现两幅人脸图像的特征点检测、特征点匹配、图像融合，以及颜色归一化。通过这个过程，我们能够将一张人脸图像的特征（如表情、发型）无缝地融合到另一张人脸图像上。

分析

使用了Dlib的68个面部特征点检测器来精确地定位人脸特征，并通过OpenCV的图像处理功能来生成掩模和进行图像融合。仿射变换矩阵的计算和应用是实现特征点匹配的关键步骤，而颜色归一化则确保了融合后的图像在颜色上更加自然和协调。

代码步骤

导入必要的库：导入OpenCV、Dlib和NumPy库，用于图像处理和数学运算。
```
# 导入必要的库
import cv2
import dlib
import numpy as np
```

定义面部特征点：定义了人脸的各个部位的特征点索引，包括下巴、眉毛、眼睛、鼻子和嘴巴。

# 定义面部特征点的索引
jaw_points = list(range(0, 17))
right_brow_points = list(range(17, 22))
left_brow_points = list(range(22, 27))
nose_points = list(range(27, 35))
right_eye_points = list(range(36, 42))
left_eye_points = list(range(42, 48))
mouth_points = list(range(48, 61))
face_points = list(range(17, 68))# 定义用于生成面部掩模的关键点
points = [left_brow_points + right_eye_points + left_eye_points + right_brow_points + nose_points + mouth_points]
pointstuple = tuple(points)

定义函数getfacemask：该函数用于根据给定的面部特征点生成一个掩模图像，该掩模图像包含了人脸的轮廓。

# 定义函数getfacemask，用于生成面部掩模
def getfacemask(im, keypoints):im = np.zeros(im.shape[:2], dtype=np.float64)for p in points:point = cv2.convexHull(keypoints[p])cv2.fillConvexPoly(im, point, color=1)im = np.array([im, im, im]).transpose((1, 2, 0))im = cv2.GaussianBlur(im, (25, 25), 0)return im

定义函数getm：该函数用于计算两个特征点集之间的仿射变换矩阵。

# 定义函数getm，用于计算两个点集之间的仿射变换矩阵
def getm(points1, points2):points1 = points1.astype(np.float64)points2 = points2.astype(np.float64)c1 = np.mean(points1, axis=0)c2 = np.mean(points2, axis=0)points1 -= c1points2 -= c2s1 = np.std(points1)s2 = np.std(points2)points1 /= s1points2 /= s2u, s, vt = np.linalg.svd(points1.T * points2)r = (u * vt).Treturn np.hstack(((s2 / s1) * r, c2.T - (s2 / s1) * r * c1.T))

定义函数getkeypoints：该函数用于检测图像中的人脸，并获取68个面部特征点。

# 定义函数getkeypoints，用于检测图像中的人脸并获取68个面部特征点
def getkeypoints(im):rects = dector(im, 1)shape = predictor(im, rects[0])s = np.matrix([[p.x, p.y] for p in shape.parts()])return s

定义函数normalcolor：该函数用于颜色归一化，使得融合后的图像颜色更加自然。

# 定义函数normalcolor，用于颜色归一化
def normalcolor(a, b):ksize = (111, 111)agauss = cv2.GaussianBlur(a, ksize, 0)bgauss = cv2.GaussianBlur(b, ksize, 0)weight = agauss / bgausswhere_are_inf = np.isinf(weight)weight[where_are_inf] = 0return b * weight

读取图像：读取两张人脸图像woman1.png和woman2.png。

# 读取两张人脸图像
a = cv2.imread("woman1.png")
b = cv2.imread("woman2.png")

初始化人脸检测器和特征点预测器：使用Dlib库初始化人脸检测器和特征点预测器。

# 初始化人脸检测器和特征点预测器
dector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")

获取特征点：对两张图像分别获取面部特征点。

# 获取两张图像的面部特征点
akeypoints = getkeypoints(a)
bkeypoints = getkeypoints(b)

生成掩模图像：对两张图像分别生成掩模图像。

# 复制第二张图像，用于后续显示
boriginal = b.copy()# 生成第一张图像的面部掩模
amask = getfacemask(a, akeypoints)
cv2.imshow("amask", amask)
cv2.waitKey()# 生成第二张图像的面部掩模
bmask = getfacemask(b, bkeypoints)
cv2.imshow("bmask", bmask)
cv2.waitKey()

计算仿射变换矩阵：计算两张图像特征点之间的仿射变换矩阵。

# 计算仿射变换矩阵
m = getm(akeypoints[pointstuple], bkeypoints[pointstuple])

应用仿射变换：将第二张图像的掩模和特征点应用仿射变换，以匹配第一张图像。

# 获取第一张图像的尺寸
dsize = a.shape[:2][::-1]# 应用仿射变换到第二张图像的掩模上
bmaskwarp = cv2.warpAffine(bmask, m, dsize, borderMode=cv2.BORDER_TRANSPARENT, flags=cv2.WARP_INVERSE_MAP)
cv2.imshow("bmaskwarp", bmaskwarp)
cv2.waitKey(0)# 计算最终的掩模
mask = np.max([amask, bmaskwarp], axis=0)
cv2.imshow("mask", mask)
cv2.waitKey(0)# 应用仿射变换到第二张图像上
bwarp = cv2.warpAffine(b, m, dsize, borderMode=cv2.BORDER_TRANSPARENT, flags=cv2.WARP_INVERSE_MAP)
cv2.imshow("bwarp", bwarp)
cv2.waitKey()

生成融合图像：通过掩模和颜色归一化，将两张图像融合在一起。

# 进行颜色归一化
bcolor = normalcolor(a, bwarp)
cv2.imshow("bcolor", bcolor)
cv2.waitKey()# 将两张图像融合
out = a * (1.0 - mask) + bcolor * mask
cv2.imshow("a", a)
cv2.imshow("b", boriginal)
cv2.imshow("out", out / 255)
cv2.waitKey()
cv2.destroyAllWindows()

运行结果

完整代码


import cv2
import dlib
import numpy as np
jaw_points=list(range(0,17))
right_brow_points=list(range(17,22))
left_brow_points=list(range(22,27))
nose_points=list(range(27,35))
right_eye_points=list(range(36,42))
left_eye_points=list(range(42,48))
mouth_points=list(range(48,61))
face_points=list(range(17,68))points=[left_brow_points+right_eye_points+left_eye_points+right_brow_points+nose_points+mouth_points]
pointstuple=tuple(points)
def getfacemask(im,keypoints):im=np.zeros(im.shape[:2],dtype=np.float64)for p in points:point=cv2.convexHull(keypoints[p])cv2.fillConvexPoly(im,point,color=1)im=np.array([im,im,im]).transpose((1,2,0))im=cv2.GaussianBlur(im,(25,25),0)return imdef getm(points1,points2):points1=points1.astype(np.float64)points2=points2.astype(np.float64)c1=np.mean(points1,axis=0)c2=np.mean(points2,axis=0)points1 -= c1points2 -= c2s1=np.std(points1)s2=np.std(points2)points1 /= s1points2 /= s2u,s,vt=np.linalg.svd(points1.T*points2)r=(u*vt).Treturn np.hstack(((s2 / s1) * r, c2.T - (s2 / s1) * r * c1.T))def getkeypoints(im):rects=dector(im,1)shape=predictor(im,rects[0])s=np.matrix([[p.x,p.y] for p in shape.parts()])return sdef normalcolor(a,b):ksize=(111,111)agauss=cv2.GaussianBlur(a,ksize,0)bgauss=cv2.GaussianBlur(b,ksize,0)weight=agauss/bgausswhere_are_inf=np.isinf(weight)weight[where_are_inf]=0return b*weighta=cv2.imread("woman1.png")
b=cv2.imread("woman2.png")
dector=dlib.get_frontal_face_detector()
predictor=dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
akeypoints=getkeypoints(a)
bkeypoints=getkeypoints(b)
boriginal=b.copy()
amask=getfacemask(a,akeypoints)
cv2.imshow("amask",amask)
cv2.waitKey()bmask=getfacemask(b,bkeypoints)
cv2.imshow("bmask",bmask)
cv2.waitKey()m=getm(akeypoints[pointstuple],bkeypoints[pointstuple])dsize=a.shape[:2][::-1]bmaskwarp=cv2.warpAffine(bmask,m,dsize,borderMode=cv2.BORDER_TRANSPARENT,flags=cv2.WARP_INVERSE_MAP)
cv2.imshow("bmaskwarp",bmaskwarp)
cv2.waitKey(0)
mask=np.max([amask,bmaskwarp],axis=0)
cv2.imshow("mask",mask)
cv2.waitKey(0)bwarp=cv2.warpAffine(b,m,dsize,borderMode=cv2.BORDER_TRANSPARENT,flags=cv2.WARP_INVERSE_MAP)
cv2.imshow("bwarp",bwarp)
cv2.waitKey()bcolor=normalcolor(a,bwarp)
cv2.imshow("bcolor",bcolor)
cv2.waitKey()out=a*(1.0-mask)+bcolor*mask
cv2.imshow("a",a)
cv2.imshow("b",boriginal)
cv2.imshow("out",out/255)
cv2.waitKey()
cv2.destroyAllWindows()