Next-generation reservoir computing based on memristor array

Kuan Ren,Fei Wang,Ze-Yu Guo,Da-Shan Shang,Wo-Yu Zhang

doi:10.7498/aps.71.20220082

Abstract

As a kind of brain-inspired computing, reservoir computing (RC) has great potential applications in time sequence signal processing and chaotic dynamics system prediction due to its simple structure and few training parameters. Since in the RC randomly initialized network weights are used, it requires abundant data and calculation time for warm-up and parameter optimization. Recent research results show that an RC with linear activation nodes, combined with a feature vector, is mathematically equivalent to a nonlinear vector autoregression (NVAR) machine, which is named next-generation reservoir computing (NGRC). Although the NGRC can effectively alleviate the problems which traditional RC has, it still needs vast computing resources for multiplication operations. In the present work, a hardware implementation method of using computing-in memory paradigm for NGRC is proposed for the first time. We use memristor array to perform the matrix vector multiplication involved in the nonlinear vector autoregressive process for the improvement of the energy efficiency. The Lorenz63 time series prediction task is performed by simulation experiments with the memristor array, demonstrating the feasibility and robustness of this method, and the influence of the weight precision of the memristor devices on the prediction results is discussed. These results provide a promising way of implementing the hardware NGRC.

Highlights

储池计算是类脑计算范式的一种,具有结构简单、训练参数少等特点, 在时序信号处理、混沌动力学系统预测等方面有着巨大的应用潜力。由于采用随机初始化的网络权重,传统储池计算需要大量的数据和计算时间用于预热处理和网络参数优化。近期研究结果证明,具备非线性读出的线性储池计算等效于一种特定构造的非线性向量自回归过程,被称为下一代储池计算 ( generation reservoir computing, NGRC)。 NGRC 可以在保证预测精度的条件下有效缓解这些问题,但仍需要大量计算资源的开销用于乘法计算操作。本文首次提出了一种基于存内计算范式的储池计算硬件实现方法,利用忆阻器阵列完成非线性向量自回归过程中的矩阵向量乘法操作,有望进一步提升储池计算的能效。通过忆阻器阵列仿真实验,我们在 Lorenz63 时间序列预测任务中验证了该方法可行性,以及该方法在噪声条件下预测结果的鲁棒性,并探究忆阻器阵列阻值精度对预测结果的影响。这一结果为储池计算的硬件实现提供了一种新的途径。.
系统是现代信息科学的前沿研究之一[1]。研究表明,生物大脑等效于一个复杂神经网络动力学系统[2],其处理外界信息的机能依赖于神经网络的动力学过程[3]。如何理解大脑的神经动力学过程、构建类脑动力学系统,是类脑计算硬件系统实现的核心问题[4]。自然界中的信息大部分是用时序数据来定义的。大脑的动力学系统受外部时序信号刺激,并将刺激产生的数据进行编码和存储[5,6],进而形成各类认知过程。循环神经网络(Recurrent neural network,RNN)[7]是一种具有短时记忆能力的神经网络,其中的神经元通过具有环路的网络结构,不仅可以接受其他神经元的信息,也可以接受自身的信息,从而使网络具有处理时序数据的能力,因此,更加适合模拟大脑的动力学系统。当前,RNN 已经被广泛应用于语音识别、自然语言处理等任务中。然而,由于梯度消失和爆炸问题[8] , RNN 需要的超参数多,而且训练过程复杂。因此,RNN 在硬件系统实现上依然面临结构复杂、训练时间长和能耗高等问题[9]。
储池计算(Reservoir comuting,RC)是 RNN 的一种简化形式。RC 概念最初的提出是为了模拟生物大脑中具有大量循环连接的皮质纹状体系统处理视觉空间序列信息的过程[10]。随后人们基于 RNN 的框架,构建了统一的 RC 计算框架[11,12,13](如图 1a)。RC 的核心是一个被称为“储池”的循环神经网络隐藏层。该网络能够将时序输入信号转换到高维空间中。经过高维转换后,输入信号的特征就可以更容易的通过简单线性回归方法有效地读出。目前,RC 在时序信号处理[14]、混沌动力学系统预测[15]等动力学系统学习方面有良好的功能。值得注意的是,与标准 RNN 相比[16],RC 中只需要训练输出层权重,并且不需要反向传播算法,有效避免了梯度消失问题,因此,可以有效降低训练复杂度和训练时间。

Summary

Introduction

储池计算是类脑计算范式的一种,具有结构简单、训练参数少等特点, 在时序信号处理、混沌动力学系统预测等方面有着巨大的应用潜力。由于采用随机初始化的网络权重,传统储池计算需要大量的数据和计算时间用于预热处理和网络参数优化。近期研究结果证明,具备非线性读出的线性储池计算等效于一种特定构造的非线性向量自回归过程,被称为下一代储池计算 ( generation reservoir computing, NGRC)。 NGRC 可以在保证预测精度的条件下有效缓解这些问题,但仍需要大量计算资源的开销用于乘法计算操作。本文首次提出了一种基于存内计算范式的储池计算硬件实现方法,利用忆阻器阵列完成非线性向量自回归过程中的矩阵向量乘法操作,有望进一步提升储池计算的能效。通过忆阻器阵列仿真实验,我们在 Lorenz63 时间序列预测任务中验证了该方法可行性,以及该方法在噪声条件下预测结果的鲁棒性,并探究忆阻器阵列阻值精度对预测结果的影响。这一结果为储池计算的硬件实现提供了一种新的途径。. 系统是现代信息科学的前沿研究之一[1]。研究表明,生物大脑等效于一个复杂神经网络动力学系统[2],其处理外界信息的机能依赖于神经网络的动力学过程[3]。如何理解大脑的神经动力学过程、构建类脑动力学系统,是类脑计算硬件系统实现的核心问题[4]。自然界中的信息大部分是用时序数据来定义的。大脑的动力学系统受外部时序信号刺激,并将刺激产生的数据进行编码和存储[5,6],进而形成各类认知过程。循环神经网络(Recurrent neural network,RNN)[7]是一种具有短时记忆能力的神经网络,其中的神经元通过具有环路的网络结构,不仅可以接受其他神经元的信息,也可以接受自身的信息,从而使网络具有处理时序数据的能力,因此,更加适合模拟大脑的动力学系统。当前,RNN 已经被广泛应用于语音识别、自然语言处理等任务中。然而,由于梯度消失和爆炸问题[8] , RNN 需要的超参数多,而且训练过程复杂。因此,RNN 在硬件系统实现上依然面临结构复杂、训练时间长和能耗高等问题[9]。储池计算(Reservoir comuting,RC)是 RNN 的一种简化形式。RC 概念最初的提出是为了模拟生物大脑中具有大量循环连接的皮质纹状体系统处理视觉空间序列信息的过程[10]。随后人们基于 RNN 的框架,构建了统一的 RC 计算框架[11,12,13](如图 1a)。RC 的核心是一个被称为“储池”的循环神经网络隐藏层。该网络能够将时序输入信号转换到高维空间中。经过高维转换后,输入信号的特征就可以更容易的通过简单线性回归方法有效地读出。目前,RC 在时序信号处理[14]、混沌动力学系统预测[15]等动力学系统学习方面有良好的功能。值得注意的是,与标准 RNN 相比[16],RC 中只需要训练输出层权重,并且不需要反向传播算法,有效避免了梯度消失问题,因此,可以有效降低训练复杂度和训练时间。图 1 三种储池计算(RC)结构 (a) 传统 RC 结构;(b) 单节点延时 RC 结构;(c) 非线传统 RC 主要包括 ESN 模型[11]和 LSM 模型[13],分别由 Jaeger 和 Maass 等人独立提出,其结构都如图 1a 所示,包含输入、储池和输出三部分。ESN 模型的储池和 LSM 模型的储池都为基于 RNN 框架,由多个神经元随机连接而成的结构。所不同的是,ESN 模型中的神经元是离散时间人工神经元,而 LSM 模型中的神经元是具有兴奋性和抑制性的脉冲神经元。储池计算模型结构(以 ESN 为例)可以用以下公式描述: x(n) = f(Winu(n) + Wx(n − 1))

Results

Conclusion