基于卷积神经网络的图像去噪（入门篇）

基于卷积神经网络的图像去噪（基础篇）

基础理论知识了解

基于深度学习的图像去噪，区别于传统去噪，但也有一定发展历程。从浅层模型到深度模型，从含噪图像映射去噪图像到含噪图像映射噪声图像（也就是残差学习），学习发展历程，能够更好的把握当下流行的算法。个人推荐这篇文章深度学习在图像去噪方面有哪些进展
卷积神经网络区别于其它的神经网络，如果你不清楚神经网络的工作原理，建议看这篇深度学习之神经网络详解

一，含噪图像映射去噪图像（浅层网络模型）

比较好理解，输入一张含噪图像（这里是40x40x1的灰度图像块，图像块大小可变），通过神经网络提取特征与原始无噪声图像进行损失函数的计算，并通过不断优化减少损失函数，从而输出去噪后的图像。最简单的就一到三层网络，这里使用9层网络进行实验。直接上网络模型：

def get_cnn_9conv(model_path=None):input_img = Input(shape=((None, None, 1)))  # adapt this if using `channels_first` image data formatx = Conv2D(56, (5, 5), activation='relu', padding='same')(input_img)x = Conv2D(12, (1, 1), activation='relu', padding='same')(x)x = Conv2D(12, (3, 3), activation='relu', padding='same')(x)x = Conv2D(12, (3, 3), activation='relu', padding='same')(x)x = Conv2D(12, (3, 3), activation='relu', padding='same')(x)x = Conv2D(12, (3, 3), activation='relu', padding='same')(x)x = Conv2D(56, (1, 1), activation='relu', padding='same')(x)x = Conv2D(28, (9, 9), activation='relu', padding='same')(x)decoded = Conv2D(1, (5, 5), activation='relu', padding='same')(x)autoencoder = Model(input_img, decoded)autoencoder.compile(optimizer='sgd', loss='mean_squared_error', metrics=['accuracy', 'mean_squared_error'])# print(autoencoder.summary())#return autoencoder

训练集使用的是200张图像，对数据集进行扩充，得到23万张40x40大小的图像块。测试集使用的是Set12,加入的是标准差为25的加性高斯白噪声（AWGN),客观评价标准使用的是峰值信噪比（PSNR），效果比简单3层网络要好很多。
去噪效果图
去噪后的psnr为29.10，噪声图像的psnr为20.56。两块GPU跑大概要1个小时左右（cpu就不要想了)

二，含噪图像映射去噪图像（稀疏网络模型）

同理，网络输入输出不变，共12层，只不过网络层之间的参数互相影响，因为效果没提升多少，我也没过多研究。直接上代码：

def get_gated_connections(gatePercentageFactor, inputLayer):gateFactor = Input(tensor=K.variable([gatePercentageFactor]))fractionG = Lambda(lambda x: x[0] * x[1])([inputLayer, gateFactor])complement = Lambda(lambda x: x[0] - x[1])([inputLayer, fractionG])return gateFactor, fractionG, complementdef get_cnn_architecture(weights_path=None):input_img = Input(shape=(None, None, 1))  # adapt this if using `channels_first` image data formatx1 = Conv2D(64, (3, 3), activation='relu', padding='same')(input_img)#180 180 64gf1, fg1, c1 = get_gated_connections(0.1, x1)x = MaxPooling2D((2, 2), padding='same')(fg1)#90 90 64x2 = Conv2D(64, (3, 3), activation='relu', padding='same')(x) #90 90 64gf2, fg2, c2 = get_gated_connections(0.2, x2)x = MaxPooling2D((2, 2), padding='same')(fg2) #45 45 64x3 = Conv2D(128, (3, 3), activation='relu', padding='same')(x)#45 45 128gf3, fg3, c3 = get_gated_connections(0.3, x3)x = MaxPooling2D((2, 2), padding='same')(x3)#22.5 22.5 128x4 = Conv2D(256, (3, 3), activation='relu', padding='same')(x)#22.5 22.5 256gf4, fg4, c4 = get_gated_connections(0.4, x4)x = MaxPooling2D((2, 2), padding='same')(x4)x5 = Conv2D(512, (3, 3), activation='relu', padding='same')(x)gf5, fg5, c5 = get_gated_connections(0.5, x5)x = MaxPooling2D((2, 2), padding='same')(x5)x6 = Conv2D(1024, (3, 3), activation='relu', padding='same')(x)x = UpSampling2D((2, 2))(x6)y1 = Conv2DTranspose(512, (3, 3), activation='relu', padding='same')(x)jt4 = Add()([y1, c5])x = UpSampling2D((2, 2))(jt4)y2 = Conv2DTranspose(256, (3, 3), activation='relu', padding='same')(x)jt3 = Add()([y2, c4])x = UpSampling2D((2, 2))(jt3)y3 = Conv2DTranspose(128, (3, 3), activation='relu', padding='same')(x)jt2 = Add()([y3, c3])x = UpSampling2D((2, 2))(jt2)#90 90 128y4 = Conv2DTranspose(64, (3, 3), activation='relu', padding='same')(x)#90 90 64jt1 = Add()([y4, c2])x = UpSampling2D((2, 2))(jt1)#180 180 64jt0 = Add()([x, c1])y5 = Conv2DTranspose(64, (3, 3), activation='relu', padding='same')(jt0)#180 180 64y6 = Conv2DTranspose(1, (3, 3), activation='relu', padding='same')(y5)#180 180 3layers = y6model = Model([input_img, gf1, gf2, gf3, gf4, gf5], layers)model.compile(optimizer='sgd', loss='mean_squared_error', metrics=['accuracy'])#编译#model.summary()return model

测试结果如下：
去噪效果图主观效果上就不是很好，这张图psnr为24.38 ，12张图平均psnr为25.13，噪声图像的psnr为20.56，可能是我代码跑的有问题。

三，含噪图像映射噪声图像（DnCNNs残差网络模型）

这个网络模型借用的残差块的概念，将整个网络看成一个残差块，输入不变，输出的是噪声图像，将含噪图像减去噪声图像，从而得到去噪图像，效果超过传统方法，前面两个模型可以学学，DnCNNs需要深入研究。

模型结构图
模型代码如下，一共17层：

def DnCNN(depth, filters=64, image_channels=1, use_bnorm=True):layer_count = 0inpt = Input(shape=(None, None, image_channels), name='input' + str(layer_count))# 1st layer, Conv+relulayer_count += 1x = Conv2D(filters=filters, kernel_size=(3, 3), strides=(1, 1), kernel_initializer='Orthogonal', padding='same',name='conv' + str(layer_count))(inpt)layer_count += 1x = Activation('relu', name='relu' + str(layer_count))(x)# depth-2 layers, Conv+BN+relufor i in range(depth - 2):layer_count += 1x = Conv2D(filters=filters, kernel_size=(3, 3), strides=(1, 1), kernel_initializer='Orthogonal', padding='same',use_bias=False, name='conv' + str(layer_count))(x)if use_bnorm:layer_count += 1# x = BatchNormalization(axis=3, momentum=0.1,epsilon=0.0001, name = 'bn'+str(layer_count))(x)x = BatchNormalization(axis=3, momentum=0.0, epsilon=0.0001, name='bn' + str(layer_count))(x)layer_count += 1x = Activation('relu', name='relu' + str(layer_count))(x)# last layer, Convlayer_count += 1x = Conv2D(filters=image_channels, kernel_size=(3, 3), strides=(1, 1), kernel_initializer='Orthogonal',padding='same', use_bias=False, name='conv' + str(layer_count))(x)layer_count += 1x = Subtract(name='subtract' + str(layer_count))([inpt, x])  # input - noisemodel = Model(inputs=inpt, outputs=x)return model

整个残差思想就体现在这一行代码上

x = Subtract(name='subtract' + str(layer_count))([inpt, x])  # input - noise

效果如下：
去噪效果图
最左边是原始图像，中间是加入噪声强度为25的含噪图像（也就是输入图像），最右边是去噪图像(也就是输出图像）。这张图psnr为29.82 ，12张图平均psnr为29.74，噪声图像的psnr为20.56。数值是用python代码测的，用MATLAB测会更高（懂得都懂）。如果是彩色图像的话，输入输出的通道数改为3就行。

总结

因为代码都是从github上东拼西凑的，所以我把完整代码都上传到csdn上免费下载，代码下载链接在这，里面包括数据集，代码，还有训练好的模型参数（对应部分不同噪声强度，没有全部），可以直接用（代码运行环境要对），当然我也建议大家直接去github上找代码。
总的来说，初学者还是要循序渐进，一定要把网络的输入输出搞懂，要先明白网络要干什么，再去弄懂网络是怎么做到的，会更好学习一点。