1Perceptron(P)?感知機
1感知機?
感知機是我們知道的最簡單和最古老的神經元模型，它接收壹些輸入，然後把它們加總，通過激活函數並傳遞到輸出層。
2Feed Forward(FF)前饋神經網絡
?2前饋神經網絡
前饋神經網絡（FF），這也是壹個很古老的方法——這種方法起源於50年代。它的工作原理通常遵循以下規則：
1.所有節點都完全連接
2.激活從輸入層流向輸出，無回環
3.輸入和輸出之間有壹層（隱含層）
在大多數情況下，這種類型的網絡使用反向傳播方法進行訓練。
3Radial Basis Network(RBF) RBF神經網絡
?3RBF神經網絡
RBF?神經網絡實際上是 激活函數是徑向基函數 而非邏輯函數的FF前饋神經網絡（FF）。兩者之間有什麽區別呢？
邏輯函數--- 將某個任意值映射到[0 ,... 1]範圍內來，回答“是或否”問題。適用於分類決策系統，但不適用於連續變量。
相反， 徑向基函數--- 能顯示“我們距離目標有多遠”。 這完美適用於函數逼近和機器控制（例如作為PID控制器的替代）。
簡而言之，RBF神經網絡其實就是， 具有不同激活函數和應用方向的前饋網絡 。
4Deep?Feed?Forword(DFF)深度前饋神經網絡
4DFF深度前饋神經網絡?
DFF深度前饋神經網絡在90年代初期開啟了深度學習的潘多拉盒子。 這些依然是前饋神經網絡，但有不止壹個隱含層 。那麽，它到底有什麽特殊性？
在訓練傳統的前饋神經網絡時，我們只向上壹層傳遞了少量的誤差信息。由於堆疊更多的層次導致訓練時間的指數增長，使得深度前饋神經網絡非常不實用。 直到00年代初，我們開發了壹系列有效的訓練深度前饋神經網絡的方法;?現在它們構成了現代機器學習系統的核心 ，能實現前饋神經網絡的功能，但效果遠高於此。
5Recurrent Neural Network(RNN) 遞歸神經網絡
5RNN遞歸神經網絡?
RNN遞歸神經網絡引入不同類型的神經元——遞歸神經元。這種類型的第壹個網絡被稱為約旦網絡（Jordan Network），在網絡中每個隱含神經元會收到它自己的在固定延遲（壹次或多次叠代）後的輸出。除此之外，它與普通的模糊神經網絡非常相似。
當然，它有許多變化 — 如傳遞狀態到輸入節點，可變延遲等，但主要思想保持不變。這種類型的神經網絡主要被使用在上下文很重要的時候——即過去的叠代結果和樣本產生的決策會對當前產生影響。最常見的上下文的例子是文本——壹個單詞只能在前面的單詞或句子的上下文中進行分析。
6Long/Short Term Memory (LSTM)?長短時記憶網絡
6LSTM長短時記憶網絡?
LSTM長短時記憶網絡引入了壹個存儲單元，壹個特殊的單元，當數據有時間間隔（或滯後）時可以處理數據。遞歸神經網絡可以通過“記住”前十個詞來處理文本，LSTM長短時記憶網絡可以通過“記住”許多幀之前發生的事情處理視頻幀。 LSTM網絡也廣泛用於寫作和語音識別。
存儲單元實際上由壹些元素組成，稱為門，它們是遞歸性的，並控制信息如何被記住和遺忘。
7Gated?Recurrent Unit (GRU)
?7GRU是具有不同門的LSTM
GRU是具有不同門的LSTM。
聽起來很簡單，但缺少輸出門可以更容易基於具體輸入重復多次相同的輸出，目前此模型在聲音（音樂）和語音合成中使用得最多。
實際上的組合雖然有點不同：但是所有的LSTM門都被組合成所謂的更新門(Update Gate)，並且復位門(Reset Gate)與輸入密切相關。
它們比LSTM消耗資源少，但幾乎有相同的效果。
8Auto?Encoder (AE)?自動編碼器
?8AE自動編碼器
Autoencoders自動編碼器用於分類，聚類和特征壓縮。
當您訓練前饋(FF)神經網絡進行分類時，您主要必須在Y類別中提供X個示例，並且期望Y個輸出單元格中的壹個被激活。 這被稱為“監督學習”。
另壹方面，自動編碼器可以在沒有監督的情況下進行訓練。它們的結構 - 當隱藏單元數量小於輸入單元數量（並且輸出單元數量等於輸入單元數）時，並且當自動編碼器被訓練時輸出盡可能接近輸入的方式，強制自動編碼器泛化數據並搜索常見模式。
9Variational AE (VAE)? 變分自編碼器
?9VAE變分自編碼器
變分自編碼器，與壹般自編碼器相比，它壓縮的是概率，而不是特征。
盡管如此簡單的改變，但是壹般自編碼器只能回答當“我們如何歸納數據？”的問題時，變分自編碼器回答了“兩件事情之間的聯系有多強大？我們應該在兩件事情之間分配誤差還是它們完全獨立的？”的問題。
10Denoising AE (DAE)?降噪自動編碼器
?10DAE降噪自動編碼器
雖然自動編碼器很酷，但它們有時找不到最魯棒的特征，而只是適應輸入數據（實際上是過擬合的壹個例子）。
降噪自動編碼器（DAE）在輸入單元上增加了壹些噪聲 - 通過隨機位來改變數據，隨機切換輸入中的位，等等。通過這樣做，壹個強制降噪自動編碼器從壹個有點嘈雜的輸入重構輸出，使其更加通用，強制選擇更常見的特征。
11Sparse AE (SAE)?稀疏自編碼器
11SAE稀疏自編碼器?
稀疏自編碼器（SAE）是另外壹個有時候可以抽離出數據中壹些隱藏分組樣試的自動編碼的形式。結構和AE是壹樣的，但隱藏單元的數量大於輸入或輸出單元的數量。
12Markov?Chain (MC)?馬爾科夫鏈
?12Markov?Chain (MC)?馬爾科夫鏈
馬爾可夫鏈（Markov Chain, MC）是壹個比較老的圖表概念了，它的每壹個端點都存在壹種可能性。過去，我們用它來搭建像“在單詞hello之後有0.0053％的概率會出現dear，有0.03551%的概率出現you”這樣的文本結構。
這些馬爾科夫鏈並不是典型的神經網絡，它可以被用作基於概率的分類（像貝葉斯過濾），用於聚類（對某些類別而言），也被用作有限狀態機。
13Hopfield Network (HN)?霍普菲爾網絡
13HN霍普菲爾網絡?
霍普菲爾網絡（HN）對壹套有限的樣本進行訓練，所以它們用相同的樣本對已知樣本作出反應。
在訓練前，每壹個樣本都作為輸入樣本，在訓練之中作為隱藏樣本，使用過之後被用作輸出樣本。
在HN試著重構受訓樣本的時候，他們可以用於給輸入值降噪和修復輸入。如果給出壹半圖片或數列用來學習，它們可以反饋全部樣本。
14Boltzmann Machine (BM)?波爾滋曼機
14 BM 波爾滋曼機?
波爾滋曼機（BM）和HN非常相像，有些單元被標記為輸入同時也是隱藏單元。在隱藏單元更新其狀態時，輸入單元就變成了輸出單元。（在訓練時，BM和HN壹個壹個的更新單元，而非並行）。
這是第壹個成功保留模擬退火方法的網絡拓撲。
多層疊的波爾滋曼機可以用於所謂的深度信念網絡，深度信念網絡可以用作特征檢測和抽取。
15Restricted BM (RBM)?限制型波爾滋曼機
15 RBM 限制型波爾滋曼機?
在結構上，限制型波爾滋曼機（RBM）和BM很相似，但由於受限RBM被允許像FF壹樣用反向傳播來訓練（唯壹的不同的是在反向傳播經過數據之前RBM會經過壹次輸入層）。
16Deep Belief Network (DBN)?深度信念網絡
16DBN?深度信念網絡?
像之前提到的那樣，深度信念網絡（DBN）實際上是許多波爾滋曼機（被VAE包圍）。他們能被連在壹起（在壹個神經網絡訓練另壹個的時候），並且可以用已經學習過的樣式來生成數據。
17Deep Convolutional Network (DCN)?深度卷積網絡
17?DCN?深度卷積網絡
當今，深度卷積網絡（DCN）是人工神經網絡之星。它具有卷積單元（或者池化層）和內核，每壹種都用以不同目的。
卷積核事實上用來處理輸入的數據，池化層是用來簡化它們（大多數情況是用非線性方程，比如max），來減少不必要的特征。
他們通常被用來做圖像識別，它們在圖片的壹小部分上運行（大約20x20像素）。輸入窗口壹個像素壹個像素的沿著圖像滑動。然後數據流向卷積層，卷積層形成壹個漏鬥（壓縮被識別的特征）。從圖像識別來講，第壹層識別梯度，第二層識別線，第三層識別形狀，以此類推，直到特定的物體那壹級。DFF通常被接在卷積層的末端方便未來的數據處理。
18Deconvolutional Network (DN)?去卷積網絡
?18?DN?去卷積網絡
去卷積網絡（DN）是將DCN顛倒過來。DN能在獲取貓的圖片之後生成像（狗：0，蜥蜴：0，馬：0，貓：1）壹樣的向量。DNC能在得到這個向量之後，能畫出壹只貓。
19Deep Convolutional Inverse Graphics Network (DCIGN)?深度卷積反轉圖像網絡
19 DCIGN 深度卷積反轉圖像網絡
深度卷積反轉圖像網絡（DCIGN），長得像DCN和DN粘在壹起，但也不完全是這樣。
事實上，它是壹個自動編碼器，DCN和DN並不是作為兩個分開的網絡，而是承載網路輸入和輸出的間隔區。大多數這種神經網絡可以被用作圖像處理，並且可以處理他們以前沒有被訓練過的圖像。由於其抽象化的水平很高，這些網絡可以用於將某個事物從壹張圖片中移除，重畫，或者像大名鼎鼎的CycleGAN壹樣將壹匹馬換成壹個斑馬。
20Generative Adversarial Network (GAN)?生成對抗網絡
?20?GAN?生成對抗網絡
生成對抗網絡（GAN）代表了有生成器和分辨器組成的雙網絡大家族。它們壹直在相互傷害——生成器試著生成壹些數據，而分辨器接收樣本數據後試著分辨出哪些是樣本，哪些是生成的。只要妳能夠保持兩種神經網絡訓練之間的平衡，在不斷的進化中，這種神經網絡可以生成實際圖像。
21Liquid State Machine (LSM)?液體狀態機
?21?LSM?液體狀態機
液體狀態機（LSM）是壹種稀疏的，激活函數被閾值代替了的（並不是全部相連的）神經網絡。只有達到閾值的時候，單元格從連續的樣本和釋放出來的輸出中積累價值信息，並再次將內部的副本設為零。
這種想法來自於人腦，這些神經網絡被廣泛的應用於計算機視覺，語音識別系統，但目前還沒有重大突破。
22Extreme? Learning Machine (ELM)?極端學習機
22ELM?極端學習機?
極端學習機（ELM）是通過產生稀疏的隨機連接的隱藏層來減少FF網絡背後的復雜性。它們需要用到更少計算機的能量，實際的效率很大程度上取決於任務和數據。
23Echo State Network (ESN)?回聲狀態網絡
23?ESN?回聲狀態網絡
回聲狀態網絡（ESN）是重復網絡的細分種類。數據會經過輸入端，如果被監測到進行了多次叠代（請允許重復網路的特征亂入壹下），只有在隱藏層之間的權重會在此之後更新。
據我所知，除了多個理論基準之外，我不知道這種類型的有什麽實際應用。。。。。。。
24Deep Residual Network (DRN)?深度殘差網絡
?24?DRN?深度殘差網絡?
深度殘差網絡（DRN）是有些輸入值的部分會傳遞到下壹層。這壹特點可以讓它可以做到很深的層級（達到300層），但事實上它們是壹種沒有明確延時的RNN。
25Kohonen Network (KN)?Kohonen神經網絡
?25?Kohonen神經網絡
Kohonen神經網絡（KN）引入了“單元格距離”的特征。大多數情況下用於分類，這種網絡試著調整它們的單元格使其對某種特定的輸入作出最可能的反應。當壹些單元格更新了， 離他們最近的單元格也會更新。
像SVM壹樣，這些網絡總被認為不是“真正”的神經網絡。
26Support Vector Machine (SVM)
?26?SVM?支持向量機?
支持向量機（SVM）用於二元分類工作，無論這個網絡處理多少維度或輸入，結果都會是“是”或“否”。
SVM不是所有情況下都被叫做神經網絡。
27Neural Turing Machine (NTM)?神經圖靈機
?27NTM?神經圖靈機?
神經網絡像是黑箱——我們可以訓練它們，得到結果，增強它們，但實際的決定路徑大多數我們都是不可見的。
神經圖靈機（NTM）就是在嘗試解決這個問題——它是壹個提取出記憶單元之後的FF。壹些作者也說它是壹個抽象版的LSTM。
記憶是被內容編址的，這個網絡可以基於現狀讀取記憶，編寫記憶，也代表了圖靈完備神經網絡。