MATLAB深度极限学习机

本博客来源于CSDN机器鱼，未同意任何人转载。

参考[1]魏洁.深度极限学习机的研究与应用[D].太原理工大学[2023-10-14].DOI:CNKI:CDMD:2.1016.714596.

0.引言

1.ELM-AE实现

2.DELM实现

3.主程序

4.结尾

0.引言

深度极限学习机(DELM)目前主要含两种基本结构：1、利用传统深度学习框架(主要是堆栈自动编码器，或者是深度置信网络)进行数据的深度自适应特征提取，而后将获得的特征输入至极限学习机及其变种中进行分类或回归；2、利用极限学习机与自动编码器相结合，形成极限学习机-自动编码器(ELM-AE)，结构如图1所示。原理很简单：

$H=f(wx+b), x=H\beta$

f是隐含层激活函数；w是输入层权重，随机值；b是隐含层偏置也是随机值，β是我们要求的值，也就是输出层权重，直接利用最小二乘法得到：

$\beta =(H^{t}H)^{-1}H^{t}x$

将ELM-AE作为无监督学习的基础单元对输入数据进行贪婪逐层无监督预训练，并保存ELM-AE由最小二乘法获得的输出权值矩阵，然后用这些输出层权重来初始化多层极限学习机(ML-ELM，也称深度极限学习机，Deep extreme leaning machine，DELM)，最后结合标签信息对DELM的输出层权重进行学习，结果图2所示。

具体操作就是先用输入x构建第一个ELM-AE，得到H1与β1，然后输入H1构建第二个ELM-AE，得到H2与β2......，这样就能得到一堆β，构建的多隐含层DELM，DELM的输出就是：

$y=\beta_{n}^{-1}\beta_{n-1}^{-1}...\beta_{1}^{-1}wx$

最后再次基于最小二乘法反向计算w，就能得到所有的权重。

1.ELM-AE实现

前面提到过ELM-AE就是极限学习机，只不过输入=输出，初始化方式与一般的极限学习机的区别是，权重为正交随机值，其实直接用rand或者randn效果都差不多，效果好不好完全看运气，初始化如下：

function elmae = delmsetup(opts, x)[r,n] = size(x);elmae.sizes = [n, opts.sizes];for u = 1 : numel(elmae.sizes) - 1mu=rand;b=log(1+exp(0.1*rand));if elmae.sizes(u)>=elmae.sizes(u+1)elmae.elmae{u}.IW =orth(mu+b*rand(elmae.sizes(u),elmae.sizes(u+1)));%根据文献 将输入权值赋值到-1，1elseIW =(mu+b*rand(elmae.sizes(u),elmae.sizes(u+1)))';elmae.elmae{u}.IW=orth(IW)';endB = orth(rand(elmae.sizes(u+1),1));BiasMatrix = repmat(B,1,r)';elmae.elmae{u}.b=BiasMatrix;elmae.elmae{u}.beta=rand(elmae.sizes(u+1),elmae.sizes(u));end
end

程序我是一次性建立多个ELM-AE，然后保存在一个结构体里，接着用就是训练代码，加入了正则化参数，使得原来的更新公式，如下，C是提前定义的，对训练结果有影响

$\beta =(H^{t}H+1/C)^{-1}H^{t}x$

function elmae=ELMAEtrain(elmae,opt,P)
% 极限学习机-自动编码器的训练  输入=输出
%INPUT     N：隐含层节点数
%          P:输入数据
%          lambda:L2正则化系数
%          TF:激活函数种类
%OUTPUT    beta：输出权值
N=size(elmae.IW,2);
tempH = P*elmae.IW+elmae.b;
switch opt.TF  %激活函数case 'sig'H = 1 ./ (1 + exp(-tempH));case 'sin'H = sin(tempH);case 'hardlim'H = hardlim(tempH);
end
elmae.beta = (pinv((H'*H+eye(N)/opt.lambda)')*H')*P;

2.DELM实现

先利用前面训练得到的beta求解倒数第二层隐含层的输出，然后继续最小二乘法计算最后一层的取种

function delm=delmtrain(elmae,opts,P_train,T_train)
% ELM-AE无监督训练
for u = 1 : numel(opts.sizes)u;elmae.elmae{u} = ELMAEtrain(elmae.elmae{u},opts,P_train);delm.elmae{u}=pinv(elmae.elmae{u}.beta);P_train=P_train*delm.elmae{u};
end
% 分类或回归层的监督训练
weight=top_ELMtrain(P_train,T_train,opts);
delm.output=weight;

function [beta]=top_ELMtrain(P,T,opt)
%INPUT    
%          P:输入数据
%          T:输入数据标签
%          lambda:L2正则化系数
%OUTPUT    beta：输出权值
N =size(P,2);
beta = pinv((P'*P+eye(N)/opt.lambda)')*P'*T;end

预测或者推理的时候，就直接用前面依次计算的beta与最后一层的beta求解

function output=delmpredict(delm,P)num_hidden=numel(delm.elmae);
for i=1:num_hiddenP=P*delm.elmae{i};
endoutput=P*delm.output;

3.主程序

%% DELM分类
%% 清空环境
close all;clear;format compact;format short;clc
%%
load data_feature_fft
%原始数据是一行一个样本，因此计算归一化的时候先做转置
[train_x,train_ps]=mapminmax(train_X',-1,1);
test_x=mapminmax('apply',test_X',train_ps);
%我写的delm的输入输出都是一列一个样本，需要对原始数据转换一下
P_train = double(train_x)' ;
P_test  = double(test_x)' ;
T_train = double(train_Y);
T_test  = double(test_Y);%% 参数设置
opts.lambda=inf;%正则化系数，无穷就是不用正则化
opts.TF='sig';%激活函数
opts.sizes=[30 20];%几个数就是几个隐含层，n个隐含层各自的节点就是[n1;n2;n3;n4;....nn]
%% 初始化网络权重
elmae=delmsetup(opts,P_train);
%% 训练
delm=delmtrain(elmae,opts,P_train,T_train);
%% 测试;
T2=delmpredict(delm,P_test);
%% 正确率计算
[~,J1]=max(T2,[],2);%预测标签
[~,J2]=max(T_test,[],2);%实际标签
accuracy=sum(J1==J2)/length(J1)
figure
stem(J1)
hold on
plot(J2,'*')
legend('预测标签','真实标签')

这个代码即可用来预测，也可用来分类，分类的时候输出值就是onehot编码，比如一共3类，第一类的标签是1 0 0，第二类的标签是0 1 0；用作回归的时候，就是具体的值。