将LSTM用于空间模式处理，提出了一种具有实用性的新型 体系结构 。 Sequencer表现出强大的分辨率适应性，即使在推理过程中输入的分辨率提高了一倍，也能有力地防止精度下降。 在峰值内存方面，Sequencer在某些情况下往往比VITS和CNN更经济（峰值内存~~~）。

2022年5月4日 · Unlike ViTs, Sequencer models long-range dependencies using LSTMs rather than self-attention layers. We also propose a two-dimensional version of Sequencer module, where an LSTM is decomposed into vertical and horizontal LSTMs to enhance performance.

We introduce the Deep LSTM for highly nonlinear system modeling and prediction. Two schemes of the long short-term memory (LSTM) network are proposed for data-driven structural seismic response modeling, including (1) LSTM-f: full sequence to sequence; and (2) LSTM-s: stacked sequence to sequence.

2022年5月6日 · 通过对RNN理解的基础上(具体可见：【Deep Learning】循环神经网络推导和实现)，可以进一步了解LSTM（LongShort-Term Memory，其出现的原因是为了解决RNN对长依赖的句子上表现不好的情况。

LSTM 是一种特殊的 递归神经网络 (RNN), 用于建模序列的长期依赖关系。 Plain LSTM 有一 个输入门, 它控制存储输入, 一个控制前单元状态 c_ {t-1} 的遗忘的 遗忘门 f_ {t}, 以及一个输出门 o_ {t} , 它控制当前单元状态 c_ {t} 的单元输出 h_ {t} 。 普通 LSTM 的公式如下:

2021年1月21日 · In this paper, by separating the LSTM cell into forward and recurrent models, we give a faster training method than BPTT. The deep LSTM is modified by combining the deep RNN with the multilayer perceptrons (MLP). The backpropagation-like training methods are proposed for the deep RNN and MLP trainings.

2022年4月28日 · Unlike ViTs, Sequencer models long-range dependencies using LSTMs rather than self-attention layers. We also propose a two-dimensional version of Sequencer module, where an LSTM is decomposed into vertical and horizontal LSTMs to enhance performance.

2022年5月11日 · 在新论文 Sequencer: Deep LSTM for Image Classification 中，来自Rikkyo University 和 AnyTech Co., Ltd. 的研究团队检查了不同归纳偏差对计算机视觉的适用性，并提出了 Sequencer，它是 ViT 的一种架构替代方案，它使用传统的LSTM而不是自注意力层。

2022年12月12日 · 本项目“deeplearning-sequences”专注于研究循环神经网络（Recurrent Neural Networks, RNN）及其变体长短期记忆网络（Long Short-Term Memory, LSTM），这两种网络结构在处理具有时序依赖性的数据时表现出色。

One of the first and most successful techniques for addressing vanishing gradients came in the form of the long short-term memory (LSTM) model due to Hochreiter and Schmidhuber (1997). LSTMs resemble standard recurrent neural networks but here each ordinary recurrent node is replaced by a memory cell.