深度学习在控制领域的研究现状与展望----总结
深度学习在控制领域的研究现状与展望----总结
一． 什么是深度学习？深度的神经网络（具有多隐层的机器学习模型，海量的训练数据，来学习更有用的特征）
二． 深度学习分类：
- DBN：基于 RBM （受限玻尔兹曼机 (Restricted Boltzmann machine, RBM)）的 DBN 由多个 RBM 堆叠而成,底层为RBM网络，逐级向上，两个网络训练过程，第一个是预训练（无监督学习，无标签，只用了输入信号），底层RBM单独训练，最小化RBM网络能量，训练完成后将隐层作为高层RBM输入，然后继续训练，逐级向上；第二个是全局微调，以训练好的 RBM 之间的权重和偏置作为深度信念网络的初始权重和偏置, 以数据的标签作为监督信号计算网络误差, 利用 BP(Back propagation) 算法计算各层误差, 使用梯度下降法完成各层权重和偏置的调节.
DBN 可用于特征提取和数据分类等.
RBM：两层结构，一层是输入层，一层是隐含层，固定权值和偏置，将隐含层定为输出，代入输入信号和隐含层的偏置，求输出，然后以输出为输入，代入输入层的偏置，反推输入，需要注意，这两个过程偏置不一样。
三． SAE
SAE 由多个 AE （自动编码器 (Autoencoder, AE)）堆叠而成, SAE 前向计算类似于 DBN, 其训练过程也分为预训练和全局微调两个阶段. 不同于RBM 的是, AE 之间的连接是不对称的. 每个 AE可视为一个单隐层的人工神经网络, 其输出目标即此 AE 的输入. 在预训练阶段, 从低层开始, 每个AE 单独训练, 以最小化其输出与输入之间的误差为目标. 低层 AE 训练完成后, 其隐层输出作为高层AE 的输入, 继续训练高层 AE. 以此类推, 逐层训练, 直至将所有 AE 训练完成. 同样地, SAE 的预训练阶段也只使用了输入数据, 属于无监督学习. 在全局微调阶段, 以训练好的 AE 的输入层和隐层之间的权重和偏置作为堆叠自动编码器的初始权重和偏置，以数据的标签作为监督信号计算网络误差, 利用BP 算法计算各层误差, 使用梯度下降法完成各层权重和偏置的调节.
自动编码器 (Autoencoder, AE)：是只有一层隐层节点，输入和输出具有相同节点数的神经网络。求函数 。也就是希望神经网络的输出与输入误差尽量少；隐藏节点数目小于输入节点，神经网络需要学习到输入样本的特征，以便进行压缩表示，适用于输入样本具有一定相似。 - CNN（卷积神经网络 (Convolutional neural net-works, CNN)）
由卷积层和次采样层 (也叫 Pooling 层)交叉堆叠而成，网络前向计算时, 在卷积层, 可同时有多个卷积核对输入进行卷积运算, 生成多个特征图, 每个特征图的维度相对于输入的维度有所降低. 在次采样层, 每个特征图经过池化 (Pooling) 得到维度进一步降低的对应图. 多个卷积层和次采样层交叉堆叠后, 经过全连接层到达网络输出. 网络的训练类似于传统的人工神经网络训练方法, 采用 BP 算法将误差逐层反向传递, 使用梯度下降法调整各层之间的参数.
CNN 可提取输入数据的局部特征, 并逐层组合抽象生成高层特征, 可用于图像识别等问题.
卷积神经网络：
数据输入层：对数据预处理，去均值，归一化，PCA；
卷积计算层：这一层就是卷积神经网络最重要的一个层次，也是“卷积神经网络”的名字来源。在这个卷积层，有两个关键操作：局部关联。每个神经元看做一个滤波器(filter)，窗口(receptive field)滑动， filter对局部数据计算。