RNN
循環神經網絡（Recurrent Neural Networks，RNN）
是一種神經網絡結構，主要用於處理序列數據，具有記憶和時間依賴性。
RNN的主要特點和概念如下：
時間序列：RNN處理的是時間序列數據，例如語言序列、時間序列數據等，它具有連續的時間性質，每個時間步都有一個輸入和一個輸出。
循環結構：RNN的特點在於其循環結構，允許信息在網絡中進行循環傳遞，使得網絡可以在處理序列數據時保留和利用先前的信息。
隱藏狀態：RNN通過隱藏狀態（Hidden State）來記憶先前的信息，隱藏狀態在每個時間步被更新，並根據當前的輸入和先前的隱藏狀態來計算。
長短期記憶網絡（LSTM）和門控循環單元（GRU）：由於普通的RNN容易出現梯度消失或梯度爆炸的問題，因此出現了LSTM和GRU等具有門控機制的RNN變體，能夠更好地處理長序列和記憶依賴關係。
應用領域：RNN廣泛應用於自然語言處理（如語言模型、機器翻譯）、時間序列預測（如股票預測、天氣預測）、語音識別、手寫識別等領域。
總而言之，RNN以其對序列數據的有效處理能力，在許多領域都取得了成功應用。然而，普通的RNN在處理長序列時容易出現梯度消失或梯度爆炸的問題，因此在實際應用中常常使用LSTM或GRU等變體來解決這些問題。