第壹，草藥式學習
在20世紀40年代末，心理學家唐納德·赫伯(Donald Herb)根據神經可塑性的機制創建了壹個關於學習的假設，現在被稱為赫伯型學習。Herb學習被認為是典型的無監督學習規則，其後期的變異是長期增強的早期模型。從1948開始，研究人員將這種計算模型的思想應用於B型圖靈機。
法利和韋斯利·A·克拉克(1954)在麻省理工學院首次使用計算機(當時稱為計算器)來模擬草藥網絡。Nathaniel Rochester (1956)等人在IBM 704計算機上模擬了抽象神經網絡的行為。
弗蘭克·羅森布拉特創造了感知機。這是壹個模式識別算法，通過簡單的加減運算實現了壹個兩層的計算機學習網絡。羅森布拉特還使用數學符號來描述基本感知器中沒有的電路，如XOR電路。直到保羅·韋伯斯特(1975)創造了反向傳播算法，神經網絡才能處理這種循環。
在馬文·明斯基和西摩·派珀(1969)發表了壹項關於機器學習的研究後，關於神經網絡的研究停滯不前。他們發現了神經網絡的兩個關鍵問題。
首先是基本感知器無法處理XOR循環。第二個重要問題是，計算機沒有足夠的能力來處理大規模神經網絡所需的長計算時間。直到計算機有了更強的計算能力，神經網絡的研究進展緩慢。
二、反向傳播算法及其復興
後來，壹個關鍵的發展是保羅·韋伯斯特發明的反向傳播算法(Werbos 1975)。該算法有效地解決了異或問題，以及訓練多層神經網絡的更壹般的問題。
在20世紀80年代中期，分布式並行處理(當時稱為連接主義)開始流行。David Rumhart和james mccreary Rand的教科書對連接主義在神經活動的計算機模擬中的應用進行了全面的討論。
神經網絡傳統上被視為大腦中神經活動的簡化模型，盡管該模型與大腦生理結構之間的關系存在爭議。目前還不清楚人工神經網絡能在多大程度上反映大腦的功能。
支持向量機和其他更簡單的方法(如線性分類器)在機器學習領域的普及程度已經逐漸超過了神經網絡，但2000年代後期深度學習的出現重新喚起了人們對神經網絡的興趣。
三。2006年後的進展
人們使用CMOS來創建用於生物物理模擬和神經形態學計算的計算設備。最新研究表明，用於大規模主成分分析和卷積神經網絡的納米器件具有良好的前景。
如果成功，這將創造壹種新的神經計算設備，因為它取決於學習而不是編程，並且它從根本上來說是模擬的而不是數字的，盡管它的第壹個例子可能是數字CMOS設備。
從2009年到2012年，瑞士AI Lab IDSIA的Jürgen Schmidhuber研究組開發的循環神經網絡和深度前饋神經網絡獲得了八項關於模式識別和機器學習的國際競賽。
比如Alex Graves等人的雙向多維度LSTM，2009年在ICDAR獲得了三次比賽，之前並不知道要學習的三種語言的相關信息。
IDSIA的Dan Ciresan和他的同事基於這種方法已經贏得了多項模式識別比賽，包括IJCCNN 2011交通標誌識別比賽等等。
他們的神經網絡也是第壹個在重要的基準測試中達到或超過人類水平的人工模式識別器，如IJCNN 2012交通標誌識別和and Yann LeCun的MNIST手寫數字問題。
深度和高度非線性的神經結構，如Kunihiko Fukushima在1980發明的neocognitron和視覺標準結構(靈感來自大衛·H·哈貝爾和托爾斯滕·威塞爾在初級視覺皮層發現的那些簡單和復雜的細胞)，可以通過多倫多大學傑弗裏·辛頓實驗室的無監督學習方法進行訓練。
2012年，神經網絡發展迅速，主要是因為計算技術的提高，使得很多復雜的運算變得更便宜。以AlexNet為標誌，大量深度網絡開始出現。
殘差神經網絡出現在2014，極大的解放了神經網絡的深度限制，深度學習的概念出現。
構成
典型的人工神經網絡有以下三個部分:
1，架構結構規定了網絡中的變量及其拓撲關系。例如，神經網絡中的變量可以是神經元連接的權重和神經元的活動。
2.激活規則大多數神經網絡模型都有壹個短時動態規則來定義神經元如何根據其他神經元的活動來改變其興奮值。壹般的激勵函數取決於網絡中的權值(即網絡的參數)。
3.學習規則學習規則規定了如何隨時間調整網絡中的權重。這壹般被認為是長時間尺度上的動態規律。壹般來說，學習規則取決於神經元的激發值。也可能取決於主管提供的目標值和當前權重值。
例如，用於手寫識別的神經網絡具有壹組輸入神經元。輸入神經元將被輸入圖像的數據激發。在激勵值被加權並通過壹個函數(由網絡的設計者確定)後，這些神經元的激勵值被傳輸到其他神經元。
這個過程壹直重復，直到輸出神經元被激活。最後，輸出神經元的興奮值決定了哪個字母被識別。