基于Keras, OpenCv, PyQt5表情检测系统

1. 前言

在这个人工智能成为超级大热门的时代，人脸表情识别已成为其中的一项研究热点，而卷积神经网络、深度信念网络和多层感知器等相关算法在人脸面部表情识别领域的运用最为广泛。面部的表情中包含了太多的信息，轻微的表情变化都会反映出人心理的变化，可想而知如果机器能敏锐地识别人脸中表达的情感该是多么令人兴奋的事。

2. 表情识别数据集

目前，现有的公开的人脸表情数据集比较少，并且数量级比较小。比较有名的广泛用于人脸表情识别系统的数据集Extended Cohn-Kanada (CK+)是由P.Lucy收集的。CK+数据集包含123 个对象的327 个被标记的表情图片序列，共分为正常、生气、蔑视、厌恶、恐惧、开心和伤心七种表情。对于每一个图片序列，只有最后一帧被提供了表情标签，所以共有327 个图像被标记。为了增加数据，我们把每个视频序列的最后三帧图像作为训练样本。这样CK+数据总共被标记的有981 张图片。这个数据库是人脸表情识别中比较流行的一个数据库，很多文章都会用到这个数据做测试，可通过下面的链接下载。

http://www.pitt.edu/~emotion/ck-spread.htm

3.搭建表情识别的模型以及数据集增强

在这里插入图片描述

表情类别：

"angry", "disgust", "scared", "happy", "sad", "surprised", "neutral"

ImageDataGenerator()是一个图片生成器，同时也可以在batch中对数据进行增强，扩充数据集大小（比如进行旋转，变形，归一化等），增强模型的泛化能力。结合前面的模型和数据训练部分的代码如下：

"""
Description: 训练人脸表情识别程序
"""from keras.callbacks import CSVLogger, ModelCheckpoint, EarlyStopping
from keras.callbacks import ReduceLROnPlateau
from keras.preprocessing.image import ImageDataGenerator
from load_and_process import load_fer2013
from load_and_process import preprocess_input
from models.cnn import mini_XCEPTION
from sklearn.model_selection import train_test_split# 参数
batch_size = 32
num_epochs = 10000
input_shape = (48, 48, 1)
validation_split = .2
verbose = 1
num_classes = 7
patience = 50
base_path = 'models/'# 构建模型
model = mini_XCEPTION(input_shape, num_classes)
model.compile(optimizer='adam', # 优化器采用adamloss='categorical_crossentropy', # 多分类的对数损失函数metrics=['accuracy'])
model.summary()# 定义回调函数 Callbacks 用于训练过程
log_file_path = base_path + '_emotion_training.log'
csv_logger = CSVLogger(log_file_path, append=False)
early_stop = EarlyStopping('val_loss', patience=patience)
reduce_lr = ReduceLROnPlateau('val_loss', factor=0.1,patience=int(patience/4),verbose=1)
# 模型位置及命名
trained_models_path = base_path + '_mini_XCEPTION'
model_names = trained_models_path + '.{epoch:02d}-{val_acc:.2f}.hdf5'# 定义模型权重位置、命名等
model_checkpoint = ModelCheckpoint(model_names,'val_loss', verbose=1,save_best_only=True)
callbacks = [model_checkpoint, csv_logger, early_stop, reduce_lr]# 载入数据集
faces, emotions = load_fer2013()
faces = preprocess_input(faces)
num_samples, num_classes = emotions.shape# 划分训练、测试集
xtrain, xtest,ytrain,ytest = train_test_split(faces, emotions,test_size=0.2,shuffle=True)# 图片产生器，在批量中对数据进行增强，扩充数据集大小
data_generator = ImageDataGenerator(featurewise_center=False,featurewise_std_normalization=False,rotation_range=10,width_shift_range=0.1,height_shift_range=0.1,zoom_range=.1,horizontal_flip=True)# 利用数据增强进行训练
model.fit_generator(data_generator.flow(xtrain, ytrain, batch_size),steps_per_epoch=len(xtrain) / batch_size,epochs=num_epochs,verbose=1, callbacks=callbacks,validation_data=(xtest,ytest))

以上代码中设置了训练时的结果输出，在训练结束后会将训练的模型保存为hdf5文件到自己指定的文件夹下，由于数据量大模型的训练时间会比较长，建议使用GPU加速。

4.UI界面

在这里插入图片描述
运行程序须知：请配置Python3.7或python3.8，对应库安装即可，下面库是python3.8

absl-py==0.12.0
astor==0.8.1
cached-property==1.5.2
certifi @ file:///C:/b/abs_85o_6fm0se/croot/certifi_1671487778835/work/certifi
click==7.1.2
cycler==0.10.0
gast==0.4.0
grpcio==1.37.0
h5py==3.2.1
importlib-metadata==4.0.1
imutils==0.5.2
joblib==1.0.1
Keras==2.2.4
Keras-Applications==1.0.8
Keras-Preprocessing==1.1.2
kiwisolver==1.3.1
Markdown==3.3.4
matplotlib==3.2.1
mock==4.0.3
numpy==1.21.6
opencv-python==4.1.0.25
pandas==1.3.5
protobuf==3.15.8
pyparsing==2.4.7
PyQt5==5.12
pyqt5-tools==5.11.3.1.4
PyQt5_sip==4.19.19
python-dateutil==2.8.1
python-dotenv==0.17.0
pytz==2021.1
PyYAML==5.4.1
scikit-learn==0.21.2
scipy==1.6.3
six==1.15.0
tensorboard==1.13.1
tensorflow==1.13.1
tensorflow-estimator==1.13.0
termcolor==1.1.0
typing-extensions==3.7.4.3
Werkzeug==1.0.1
wincertstore==0.2
zipp==3.4.1