一种基于忆阻网络的残差神经网络模型及其应用方法与流程

本发明涉及人工智能技术领域，具体涉及一种基于忆阻网络的残差神经网络模型及其在用于语音识别中的应用方法。

背景技术：

忆阻器是一种新型的非线性两端电路元件，其天然的记忆功能、连续的输入输出特性和非易失性，使其在人工神经网络、模式识别和图像处理等方面有着巨大的应用潜能。忆阻器不仅具有很好的兼容性，而且都具有功耗低、高可靠性和可扩展性等优势。忆阻器构建神经元使得神经网络电路设计更加优越可靠。

大规模深度卷积神经网络的计算需要大量的计算资源，目前的通用计算平台难以满足神经网络计算对计算能力与计算功耗的需求。忆阻器作为第四种基本电路元件，具有存储密度高、功耗低等优点，并且忆阻器阵列可以模拟矩阵向量乘计算。采用忆阻器加速大规模深度神经网络，将有效提高深度神经网络计算的性能与能效比。

在语音识别领域，传统的算法gmm-ubm声学模型一直占据的主导地位，但由于gmm-ubm声学模型本身的特点，其对数据量要求较高，并且在操作过程中计算量大、运行速度缓慢，导致模型的训练时间较长，因此在实际应用过程中有一定的缺陷。近年来，随着神经网络的飞速发展，cnn、resnet、vggnet等性能优异的神经网络模型被提出，并被应用到端到端语音识别方法中，表现出杰出的效果。

由此可见，运用忆阻器来实现一种以语音识别为目标的神经网络是有必要的，其结合了忆阻器在功耗、性能等方面的优越性和神经网络在语音识别领域的优势。

技术实现要素：

基于上述技术问题，本发明提出了一种基于忆阻网络的残差神经网络模型，并探索了其在语音识别中的应用方法。在硬件上，基于忆阻器构建的忆阻网络结构，能够进行大规模并行处理，同时拥有巨大的存储量。忆阻器可通过调节两端的施加电压，灵活地改变其阻值状态，从而实现突触可塑性。基于忆阻器的忆阻网络模型具有功耗低，速度快和模块化等优势，可根据开发者的需求构建多种神经网络，如利用忆阻器构建卷积神经网络、残差网络、bp神经网络等。由忆阻器所搭建的忆阻网络作为残差神经网络的硬件支撑，在此基础之上构建残差神经网络模型，进而实现残差神经网络模型的训练、测试等功能。通过在忆阻器两边施加电压控制忆阻器的阻值，从而实现残差神经网络模型中各种所需算术运算。

本发明提出了一种基于忆阻网络的残差神经网络模型，该残差神经网络模型基于卷积神经网络和残差神经网络，其更加擅长提取局部特征，模型的复杂度高，更容易拟合复杂的数据，泛化性能更佳，能够广泛应用到各种语音识别的场景中。

一种基于忆阻网络的残差神经网络模型将基于忆阻器的忆阻网络结构作为所述残差神经网络模型的权值矩阵，在此基础上构建所述残差神经网络模型，进而实现所述残差神经网络模型的训练、测试功能，通过对忆阻器两端施加不同的电压来灵活改变忆阻器的阻值，从而实现所述残差神经网络模型中的各种所需的算术运算；

基于忆阻器所搭建的忆阻网络由多个忆阻器按照m×n矩阵的形式排列而成，其中m、n均为大于0的整数；

所述残差神经网络模型包含输入层、多层隐藏层和恒等映射，最后是输出层，由于忆阻器具有阻值可变性和可存储性，在所述残差神经网络模型中，多层隐藏层之间的权重通过忆阻网络进行模拟，具体通过忆阻网络中的忆阻器的阻值来进行模拟，其中对忆阻器所施加的电压对应隐藏层的输入，输出的电流对应隐藏层中激活函数之前的乘加和；

所述忆阻网络用于模拟矩阵向量乘操作，采用vo＝(vo,0,vo,1,...,vo,m)表示神经元的输出向量，vi＝(vi,0,vi,1,...,vi,n)表示神经元的输入向量，所述输出向量与所述输入向量之间的矩阵向量乘操作可以通过以下公式表示：

其中，公式中m×n的矩阵cm,n的参数值ci,j由忆阻器阵列对应位置的电导系数gi,j与负载电阻gs共同决定，ci,j指的是矩阵cm,n中的第i行、第j列的元素，gs为一个额外的电阻值，与矩阵中的i、j位置无关。

一种基于上述残差神经网络模型的应用方法，包括以下步骤：

s1)基于python下的keras库构建上述残差神经网络模型作为声学模型；

s2)获取原始音频文件的列表，将原始音频文件按照一定的预设比例分为训练集、验证集、测试集，并将每个原始音频文件与其标签一一对应起来；并输入原始音频文件，对所述原始音频文件的语音信号进行预处理，得到经过预处理的原始音频文件的语音信号；

s3)所述残差神经网络模型提取步骤s2)中获取的所述经过预处理的原始音频文件的语音信号的特征，生成语音信号特征向量，保存所述语音信号特征向量到特定文件，所述所述语音信号特征向量包括训练集、验证集以及测试集的语音信号特征向量；

s4)将步骤s3)提取的训练集和验证集的语音信号特征向量输入到所述残差神经网络模型中，训练所述残差神经网络模型，得到训练完成的残差神经网络模型；

s5)保存所述训练完成的残差神经网络模型及其相关参数；

s6)将步骤s3)中测试集中待测试样本的语音信号特征向量输入到步骤s5)中保存的所述训练完成的残差神经网络模型中，输出该待测试样本的语音分类的结果，并计算语音分类的准确率。

本发明基于忆阻网络构建残差神经网络模型，克服了软件实现神经网络存在的运算速度低、稳定性差等缺点，具体地，基于忆阻器的残差神经网络模型在语音识别方面具有以下优点：1)分类精度高：通过神经网络进行训练，可以达到高精度的分类效果；2)分类效率高：采用硬件实现神经网络，从而大幅度降低了神经网络训练时间。并且本发明所构建的声学模型基于resnet模型和gru模型，将二者融合为一体进行语音识别，在其中某一模型产生较大预测偏差时能够借助另外一个模型来保证模型的准确率有一个较高的下限，使得整体模型具有良好的泛化性能和鲁棒性。

附图说明

图1为本发明的基于忆阻网络的残差神经网络模型

图2为本发明的语音识别流程图

图3为本发明的残差神经网络模型的工作流程图

图4为本发明的resnet模型结构图

图5为本发明的gru模型结构图

图6为本发明的resnet模型的残差块结构图

图7为本发明的gru模型的残差块结构图

图8为本发明的resnet模型训练过程中的准确率-损失图

图9为本发明的gru模型训练过程中的准确率-损失图

具体实施方式

下面结合附图对本发明的具体实施方式以及工作原理作进一步详细说明。

基于忆阻器所搭建的忆阻网络由多个忆阻器按照m×n矩阵的形式排列而成，其中m、n均为大于0的整数，通过忆阻网络中的忆阻器的阻值来模拟忆阻网络中的权重，电压模拟神经元的输入，电流模拟神经元的输出。由忆阻器所搭建的忆阻网络作为残差神经网络模型的硬件支撑，在此基础之上构建残差神经网络模型，进而实现残差神经网络模型的训练、测试等功能。通过在忆阻器两边施加电压控制忆阻器的阻值，从而实现残差神经网络模型中各种所需算术运算。

如图1所示为本发明的基于忆阻网络的残差神经网络模型，将基于忆阻器的忆阻网络结构作为残差神经网络的权值矩阵，忆阻网络可以有效的模拟矩阵向量乘操作，下图中vo＝(vo,0,vo,1,...,vo,m)为神经元的输出向量，vi＝(vi,0,vi,1,...,vi,n)为神经元的输入向量，输出向量与输入向量之间的函数关系可以通过以下公式表示：

公式中m×n的矩阵cm,n的参数值ci,j由忆阻器阵列对应位置的电导系数gi,j与负载电阻gs共同决定。ci,j指的是矩阵中的第i行、第j列的元素，gs应该是一个额外的电阻值，与矩阵中的i、j位置无关，更详细地说，ci,j是忆阻器对应的一个属性值，由gi,j和gs计算得来。通过对忆阻器两端施加不同的电压可以灵活改变忆阻器的阻值，从而有效实现所述残差神经网络模型中的各种计算。

如图1所示为本发明的基于忆阻网络的残差神经网络模型，所述残差神经网络模型包含输入层、多层隐藏层和恒等映射，最后是输出层。由于忆阻器具有阻值可变性和可存储性，在本发明的残差神经网络模型中，多层隐藏层之间的权重通过忆阻网络进行模拟，其中对忆阻器所施加的电压对应隐藏层的输入，输出的电流对应隐藏层中激活函数之前的乘加和。

如图2所示，为本发明实现的一种基于忆阻网络的残差神经网络模型的应用方法，包括以下步骤：

s1:基于python下的keras库构建如图1所示的残差神经网络模型作为声学模型。

s2:获取原始音频文件的列表，将原始音频文件按照一定的预设比例分为训练集、验证集、测试集，并将每个原始音频文件与其标签一一对应起来，便于训练时需要。输入原始音频文件，对所述原始音频文件的语音信号进行预处理，得到经过预处理的原始音频文件的语音信号。

s3:所述残差神经网络模型提取s2中获取的经过预处理的原始音频文件的语音信号的特征，生成语音信号特征向量，所述所述语音信号特征向量包括训练集、验证集以及测试集的语音信号特征向量，保存所述语音信号特征向量到特定文件。

s4:将s3提取的训练集和验证集的语音信号特征向量输入到所述残差神经网络模型中，训练所述残差神经网络模型，得到训练完成的残差神经网络模型。

s5:保存所述训练完成的残差神经网络模型及其相关参数。

s6:将s3中测试集中待测试样本的语音信号特征向量输入到s5中保存的所述训练完成的残差神经网络模型中，输出该待测试样本的语音分类的结果，并计算语音分类的准确率。

步骤1所构建的残差神经网络模型的工作流程图如图3所示，特征提取模块对由输入模块输入的原始音频文件统一进行特征提取，得到语音信号特征向量；所述残差神经网络模型包含两部分：resnet模型和gru模型，左右两个模型resnet模型和gru模型都采用了相同的得到的语音信号特征向量作为所述残差神经网络模型的输入，并且分别由resnet输出模块和gru输出模块输出的语音分类结果为统一的格式，最后通过分类结果整合模块将resnet模型和gru模型两个模型输出的语音分类结果进行整合，按照各占0.5权重的方式进行加权求和，并由最终结果输出模块输出最终的语音分类结果。

如图4所示，为图3中resnet模型的结构图，第一层为卷积层，即输入层，包含64个相同的大小为5×5的卷积核。接着是一层批量归一化层，relu激活函数以及大小为2×2的最大池化层。最大池化层后面依次连接的是三层相同的小残差块和四层相同的大残差块。四层大残差块后面是一层卷积层，该层卷积层包含512个相同的大小为9×1的卷积核。卷积层后面是一层包含512个神经元的全连接层，最后以softmax激活函数作为输出。

如图5所示，为图3中gru模型的结构图，前三层均为卷积层，分别为一层输入层和两层隐藏层，第一、二层卷积层均包含64个相同的大小为3×3的卷积核，第三层卷积层包含128个相同的大小为5×5的卷积核，这三层卷积层每层后面都紧跟着一个大小为2×2的最大池化层。该三层卷积层后面连接三层残差块。该三层残差块后面是三层包含512个神经元的循环门控单元层，其中前两层循环门控单元层返回的是该层所有神经元的输出向量，第三层循环门控单元层返回的是该层最后一个神经元的输出向量，便于与全连接层进行连接；；该循环门控单元层之后紧接着是一层包含512个神经元的全连接层，全连接层的激活函数为elu，最后是softmax激活函数作为输出。

如图6所示为图4中resnet模型的残差块结构图，小残差块和大残差块都包含连续的三个卷积层(分别为输入层、隐藏层和输出层)和一个作为恒等映射的卷积层，分别用于提取语音特征向量和缓解由于网络过深所造成的网络退化问题。resnet模型中的每个卷积层后面都紧跟着一层批量归一化层和relu激活函数，其中图4中的小残差块中的四个卷积层的卷积核的数量分别为64、64、256、256，大残差块中的四个卷积层的卷积核的数量分别为128、128、512、512，卷积核的大小均为1×1。所述恒等映射的卷积层作用是越级传递信息，防止网络的退化/过拟合。

如图7所示为图5中gru模型的残差块结构图，所述残差块包含两个含有128个相同的大小为3×3的卷积核的卷积层，分别为输入层和输出层，每个卷积层后面都紧跟着一层批量归一化层和relu激活函数，gru模型的残差块的恒等映射为残差块的输入直接映射到输出。

步骤2的预处理包括以下过程：vad去静音、语音填充、语音截断。vad去静音根据语音信号中的能量大小和过零率检测语音中的静音片段并去除，保证输入的音频尽可能地有效，从而神经网络能够学习到有用的特征；语音填充和截断都是通过判断语音的长度是否符合预设的要求来对音频信号进行处理，通常将音频文件的长度设置为3s，填充时进行零值填充，从而保证了输入的音频文件都具有相同的规格，便于统一处理。

步骤3提取的语音信号特征为40位滤波的logfilterbank特征，提取特征过程中采用了语音加重、分帧、加窗，其中帧长为25ms，帧移为10ms，窗函数使用汉明窗，之后进行快速傅立叶变换，将语音信号由时域信号转化为频域信号，然后使用梅尔滤波器组，最后取对数得到logfilterbank特征。最后将提取到的音频文件保存在后缀为.npy的文件中，便于特征向量的存储和读取。相比于梅尔倒谱系数(mel-scalefrequencycepstralcoefficients，mfcc)特征，logfilterbank特征具有特征相关性更高的优点。

步骤4在训练过程中采用的优化函数为随机梯度下降，损失函数为交叉熵，评价标准为分类准确率，并且在训练过程中进行分批次输入音频文件，并且在每一轮的迭代结束后使用验证集进行测试，得到当前模型的准确率，通过比较每一轮训练得到的模型的准确率，保存当前的最优模型的权重，在整个训练过程完成后，保存最终的模型权重到后缀为.h5的文件中。在训练过程中，每一轮训练完成后，将该轮训练所得模型在验证集上进行测试，并计算的准确率和损失值。如图8，9所示。所述训练轮数不少于五十轮。

步骤6加载步骤5中保存的残差神经网络模型及其权重，输入步骤3中的测试集中待测试样本的语音信号特征向量，输出该待测试样本的语音分类识别结果，并计算分类的准确率。

基于python的学习库keras搭建残差神经网络模型，在计算机cpu型号i7-8700、显卡gtx-1070、内存大小16gb的实验环境下，使用的数据集是librispeech数据集，对上述残差神经网络模型进行训练、验证和测试，所得的结果如下表1所示：

表1测试结果

从表中可见，本发明所提出的残差神经网络模型在语音识别中的准确率均高于单独使用resnet模型或gru模型的准确率，说明所述残差神经网络模型在语音识别方面表现优异。

本发明公开了一种基于忆阻网络的残差神经网络模型及其应用，涉及人工智能技术领域。基于忆阻器实现突触的可塑性，搭建忆阻网络，进而设计实现残差神经网络，并由此提出其在语音识别中的应用。其在硬件上提高了计算精度和训练效率，在软件上实现了更高级的残差神经网络，更擅长提取局部特征，同时结合了卷积神经网络和残差网络，使模型具有更好的泛化能力和鲁棒性，并且对于复杂的数据具有较强的拟合能力，在复杂应用场景下具有良好的适应能力。与传统卷积神经网络相比，本发明使用忆阻网络设计的残差神经网络模型具有优良的性能，可将其用于语音识别等领域。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围。凡采用等同替换或等效替换，这些变化是显而易见，一切利用本发明构思的发明创造均在保护之列。