↓↓↓文章末尾获取原文链接↓↓↓
本文1455字，阅读约需5分钟
摘 要：提出了一种用于高效处理高维多尺度时间序列的HetAESN，并阐明了其有效性依赖于“输入维度”和“储层的有效记忆范围内的信号复杂性”的平衡，为根据现实世界的任务特点优化设计RC模型的架构提供了指导。
关键词：人工智能、“HetAESN”架构、高维、多尺度时间序列、时间异质性
储层计算（Reservoir Computing，RC）是一种循环神经网络（RNN），由输入层、中间层（储层）和输出层组成。通过固定储层内部的连接权重并将学习限制在输出层的权重上，储层计算具有比传统深度学习更快、成本更低的特点。由于这种“高学习效率”以及易于在物理元件上安装的便利性，近年来，其作为一种应用技术，在计算资源有限的边缘人工智能领域引起了广泛关注。
然而，当尝试将作为RC代表性模型的回声状态网络（ESN）应用到图像、视频识别、天气预报等现实世界的复杂任务时，会面临两个障碍。其一是数据的“高维度”：为了处理大量传感器数据或图像数据等多维输入信息，需要扩展储层，但随之而来的问题是计算成本也会大幅增加。其二是“多尺度性”：现实世界的现象中，快速变化的快速成分与缓慢变化的慢速成分混合存在，传统的ESN试图以单一的时间响应特性来统一处理这些成分，无法充分捕捉复杂时间序列模式。
在现有研究中，人们提出了诸如将输入分割以适应高维度的Assembly ESN（AESN）以及引入多个时间常数以适应多尺度的Diverse-Timescale ESN（DTS-ESN）等方法，但尚未达到可以综合应对以上两种障碍的程度。尤其是，传统的AESN将所有子储层的时间特性统一设置，存在改善以适应多尺度数据的空间。
在此背景下，研究小组在AESN的架构中引入时间异质性（Heterogeneous）的概念，设计了一种每个子储层都根据输入信号特性具有单独调整的时间常数的HetAESN。