1，DNN:有壹個問題——不可能對時間序列的變化建模。然而，樣本的時間序列對於自然語言處理、語音識別、手寫識別等應用非常重要。為了滿足這種需求，另壹種神經網絡結構——循環神經網絡RNN應運而生。
2.CNN:每壹層神經元的信號只能傳播到下壹層，每個時刻對樣本的處理是獨立的，所以也叫前饋神經網絡。
3.RNN:神經元的輸出在下壹個時間戳可以直接影響自身，也就是I層神經元在m時刻的輸入，除了I層神經元在該時刻的輸出，還包括其自身在(m-1)時刻的輸出！
介紹
神經網絡技術起源於五六十年代，當時叫感知器，它有壹個輸入層、壹個輸出層和壹個隱含層。輸入的特征向量通過隱層變換到達輸出層，在輸出層得到分類結果。早期感知器的發起人是羅森布拉特。
在實際應用中，所謂的深度神經網絡DNN往往結合了許多已知的結構，包括卷積層或LSTM單元。