陳永偉/文 神經(jīng)網(wǎng)絡的誕生

1935年的一天，英國哲學家伯特蘭·羅素（Bertrand　Russel）收到了一封來自美國底特律的信。寫信人自稱叫沃爾特·皮茨（Walter　Pitts），在閱讀羅素和其老師懷特海（Alfred　North　Whitehead）合著的《數(shù)學原理》時發(fā)現(xiàn)了幾處錯誤，因而特別來信指出。讀完信，羅素找來《數(shù)學原理》進行了一番核對，發(fā)現(xiàn)來信人確實言之有理。于是，他立即向皮茨回信表示了感謝，并邀請皮茨來劍橋大學跟隨他攻讀研究生。

然而，皮茨并沒有接受這個邀請。這并不是因為他過于傲慢，而是因為他當時只有12歲，甚至連高中都還沒上。當時，皮茨生活的街區(qū)治安并不好，他經(jīng)常被街頭的小混混欺負。在家里，他脾氣暴躁的父親又經(jīng)常對他拳打腳踢。為了避免挨打，他經(jīng)常將社區(qū)圖書館作為庇護所。那天，他又出于同樣的目的來到了圖書館，并偶然發(fā)現(xiàn)了書架上的《數(shù)學原理》。然后，他奇跡般地只用三天就看完了這部2000頁的皇皇巨著，并發(fā)現(xiàn)了其中的問題給羅素寫了信。

盡管皮茨不能跟隨羅素去讀研究生，但通過這番通信，兩人也算成了熟人。1938年，皮茨聽說羅素要去芝加哥講學，就果斷離家出走，來到了芝加哥。在芝加哥大學，皮茨終于見到了自己的筆友。羅素十分高興，并將他推薦給了在芝加哥任教的著名哲學家魯?shù)婪?middot;卡爾納普（Rudolf　Carnap）?？柤{普把他留在了芝加哥，還為他找了一份清潔工的工作用以維持生計。于是，皮茨就成了芝加哥大學的一位旁聽生。

在芝加哥大學期間，皮茨的天才引起了很多人的注意，其中就包括一位叫杰羅姆·萊特文（Jerome　Lettvin)的醫(yī)學院研究生。萊特文對這位神童十分欽佩，不久后又將他介紹給了著名的神經(jīng)學家沃倫·麥卡洛克（Warren　McCuloch）。在麥卡洛克結識皮茨時，他已經(jīng)42歲，但他卻發(fā)現(xiàn)自己和這位比自己小25歲的年輕人聊得十分投機——可能，這是因為兩人都崇拜萊布尼茨，并且都讀過《數(shù)學原理》。當時，皮茨在芝加哥沒有住所，麥卡洛克就干脆邀請他住到了自己的家中。此后，這對同住一個屋檐下的神經(jīng)學家和數(shù)學神童就經(jīng)常在一起探討問題、交流思想。

那段時間，麥卡洛克正在嘗試用邏輯運算對大腦進行建模。作為一名神經(jīng)學家，他在實驗中觀察到：在大腦中，每個神經(jīng)元都與其他神經(jīng)元相連，當神經(jīng)元興奮時，就會向相連的神經(jīng)元發(fā)送化學物質(zhì)，從而改變這些神經(jīng)元內(nèi)的電位；如果某個神經(jīng)元的電位超過了一個閾值，它就會被激活，即興奮起來，并向其他神經(jīng)元發(fā)送化學物質(zhì)。他覺得，這種現(xiàn)象似乎可以和《數(shù)學研究》中的邏輯概念聯(lián)系起來。具體來說，每一個神經(jīng)元信號就像是一個命題，它們像邏輯門一樣運行，接收多種信號的輸入，并產(chǎn)生單獨的輸出信號。通過變更神經(jīng)元的放電閾值，神經(jīng)元就可以表現(xiàn)出連接、分離、否定等行為，而它們就正好對應于邏輯中的“與”“或”和“非”?；谶@個認識，他想把神經(jīng)元的運動模式用一個數(shù)學模型表示出來。遺憾的是，麥卡洛克本人的數(shù)學能力并不強，所以他沒能完成這個模型。

麥卡洛克將這個想法告訴了皮茨，希望他可以用自己的數(shù)學天才幫助自己。皮茨沒有辜負他的希望，一番努力之后，他將麥卡洛克的想法發(fā)展成一個數(shù)學模型。模型中，神經(jīng)元被描述成了一個邏輯門，它會將來自周邊神經(jīng)元的信號加權求和，然后將得到的值代入一個非線性函數(shù)中，這個函數(shù)會根據(jù)輸入的值來決定神經(jīng)元究竟是關閉還是打開。通過這樣的設定，神經(jīng)元的法則就被表示成了一個數(shù)學模型。雖然這個模型看似十分簡單，但通過組合，它可以表達復雜的腦神經(jīng)活動。麥卡洛克對皮茨的工作十分滿意，他很快將這個模型整理成了一篇論文，還讓自己的女兒為論文配上了手繪插圖。

1943年，這篇名為《神經(jīng)活動中思想內(nèi)在性的邏輯演算》（ALogicalCal－culusofIdeasImmanentinNervousAc－tivity）正式發(fā)表，“麥卡洛克—皮茨模型”（簡稱M-P模型）也因此而被人所知。這個模型，就是神經(jīng)網(wǎng)絡領域的開山之作。直至今天，神經(jīng)網(wǎng)絡的大部分研究都依然以此作為基礎。

憑著這篇開創(chuàng)性論文，皮茨獲得了芝加哥大學的準學士學位——由于他在芝加哥大學沒有學籍，所以他并沒有能獲得正式的學生學位。不過，在當時那個年代，學位并不是一件大不了的事，相比于一紙文憑，那篇開創(chuàng)性的論文更加可以證明皮茨的天賦。

不久之后，皮茨在萊特文的引薦下認識了麻省理工學院的數(shù)學家維納（NorbertWiener）。對于這位年紀輕輕就寫出重量級論文的年輕人，維納也十分欣賞，于是就破格收下他作為自己的博士生。那時，維納正著手創(chuàng)建“控制論”（Cybernetics），一門旨在用數(shù)學的方法描述機器、生命和社會的一般規(guī)律的新學科。皮茨順理成章地成為了他的助手。

維納的器重，讓皮茨感到了前所未有的溫暖。但他不知道的是，這其實是他后半生悲劇的開始。幾年之后，維納莫名與皮茨反目，這讓一直對維納敬愛有加的皮茨精神備受打擊，從此一蹶不振。關于維納與皮茨師徒反目的原因，外人并不能確知。有人說維納躁狂的性格導致了這一切，也有人說，這是由于他們在研究思路上出了分歧。從后來的證據(jù)看，后一種說法似乎更有道理，因為在維納的本來思路中，控制論包括對神經(jīng)網(wǎng)絡的研究，但師徒二人分道揚鑣后，這一塊內(nèi)容從維納的研究版圖中被抹去了。無論如何，這場決裂確實毀掉了一個天才，此后，皮茨就終日借酒澆愁，直到二十多年后在貧病交加中孤獨死去。

通向魔宮的道路

當皮茨跟隨維納攻讀博士時，還有一位比他年輕三歲的學生，名叫奧利弗·塞弗里奇（OliverSelfridge），也在跟隨維納學習。塞弗里奇本來是學習數(shù)學的，但在皮茨和萊特文的熏陶之下，他也開始對神經(jīng)網(wǎng)絡感興趣。幾年后，麥卡洛克也來到了麻省理工學院，于是麥卡洛克、皮茨、萊特文和塞弗里奇這四人就經(jīng)常在一起討論問題、交流思想。

后來，維納和皮茨的那場決裂顯然波及了塞弗里奇，維納也因此和他斷絕了往來。這導致了塞弗里奇沒有能拿到博士學位。不過，憑借著優(yōu)秀的數(shù)學和工程能力，他還是順利地在麻省理工學院的林肯實驗室找到了工作，并參與了第一個擴頻系統(tǒng)的建造。在工作之余，他還是熱衷于神經(jīng)網(wǎng)絡方面的研究。

1959年，塞弗里奇讀到了一篇由他的昔日老友麥卡洛克、皮茨、萊特文，以及另一位智利生物學家馬圖拉納（HumbertoMaturana）合寫的論文《青蛙的眼睛告訴青蛙的大腦什么》（WhattheFrog’sEyeTellsFrog’sBrain）。這篇文章講了一個顛覆常識的故事：過去，人們認為眼睛作為感覺器官，只是負責接受信息，信息的處理都是由大腦完成的。但實驗表示，眼睛在接收了信息之后，至少進行了部分解釋工作，然后再將它傳遞給大腦。大腦是在此基礎之上進一步進行的計算。比如，當青蛙看到有蟲子飛過來時，其眼睛就會立即將蟲子的信息傳遞給大腦；而當一般的環(huán)境變化時，蛙眼則不會傳遞任何信息。這表明，蛙眼在接受信息之后，確實會首先對其進行一次識別，然后再決定是否將其傳遞給大腦。

這篇老友的作品讓塞弗里奇大受啟發(fā)，一個信息識別過程的模型慢慢在他的腦中浮現(xiàn)。不久之后，他就將這個想法整理成了一個模型，并將這個模型起了一個十分聳人聽聞的名字——“魔宮模型”（PandemoniumModel，Pande－monium是傳說中撒旦的宮殿）。這個模型將信息識別的過程比作了進入魔宮的過程。在通往魔宮的道路上，共有四道門，每一道門后面都站著不同類型的妖魔。在第一道門背后站著的是“圖像魔鬼”，它們負責記錄和傳遞輸入數(shù)據(jù)或圖像；第二道門背后站的是“特征魔鬼”，它們負責從輸入的信息中提取某些特征；第三道門背后站的是“認知魔鬼”，它們負責根據(jù)各種特征整理出有用的信息；第四道門背后站的是“決策魔鬼”，它們負責最后確認并輸出結果。所有這些“群魔”集中在一起，就可以共同完成對外部信息的識別。以識別手寫的單詞為例，“圖像魔鬼”將負責感知信息；“特征魔鬼”將負責提取出文字中的各種特征，如“弧形”“彎鉤”等；“認知魔鬼”將負責根據(jù)特征識別出一個個的字母；最后“決策魔鬼”將所有識別出的文字加在一起，就得到了要識別的單詞。

當然，所謂的“魔宮”“群魔”，只不過是塞弗里奇為了引起讀者注意而故意搞的怪。事實上，這一個個亂舞的群魔完全可以被正式地表述成M-P模型中所刻畫的神經(jīng)元。這樣，通往魔宮的道路就變成了一張多層的神經(jīng)網(wǎng)絡。因而，“魔宮模型”實際上第一次向人們展示了用神經(jīng)網(wǎng)絡識別圖形和文字信息的方法，而塞弗里奇也因這個成就被后人尊為了“模式識別之父”。

感知機的成與敗

“魔宮模型”的提出在理論上揭示了用神經(jīng)網(wǎng)絡來進行模式識別的可能性，那么，人們是否可以用這一原理來制作用以識別圖形或文字的機器呢？答案是肯定的。事實上，早在塞弗里奇構建他的“魔宮”之前，就已經(jīng)有人做出了用神經(jīng)網(wǎng)絡進行圖形識別的機器。這個機器就是著名的“感知機”（Percep－tron）。

創(chuàng)造“感知機”的人叫弗蘭克·羅森布拉特（FrankRosenblatt），是康奈爾大學的心理學教授。作為一位心理學家，羅森布拉特對腦的構造十分感興趣。他讀過麥卡洛克和皮茨的那篇經(jīng)典論文，并敏銳地意識到這個神經(jīng)網(wǎng)絡模型可以用來從事圖形識別等工作。

為了驗證這個想法，羅森布拉特在一臺IBM704機器上進行了嘗試。具體來說，他根據(jù)M-P模型的思路，構建了一個神經(jīng)網(wǎng)絡。這個網(wǎng)絡的輸入端可以用來讀取寫有字母的卡片，然后這個神經(jīng)網(wǎng)絡會提取其中的特征信息，對信息進行加工后，機器就會輸出其判斷的結果。一開始，羅森布拉特的“感知機”運作得并不好，但通過他對模型參數(shù)的精心調(diào)整，“感知機”的表現(xiàn)就明顯改善了。

1958年7月，羅森布拉特在美國國家氣象局向人們展示了“感知機”的用處。當計算機成功地識別出了印在卡片上的一個個字母后，在場的觀眾無不驚嘆不已。第二天，羅森布拉特和他的“感知機”就登上了各大報刊的頭版。美國海軍、美國郵政局等單位也紛紛向羅森布拉特投來了橄欖枝，希望將這項發(fā)明用于實踐。

所謂“福兮禍之所伏”，當時“感知機”的技術還十分不成熟，這樣過度的贊譽對它而言絕不是一件好事。不久之后，它的缺陷就暴露了。人們發(fā)現(xiàn)，這臺機器只能識別規(guī)范印刷的字母，對于手寫的字母卻無能為力。這意味著，這時的“感知機”至多只是一個華而不實的東西，并無實際的用途。其實，從現(xiàn)在的觀點看，“感知機”的最關鍵問題在于它僅用了一層的神經(jīng)網(wǎng)絡，而沒有像“魔宮模型”所建議的那樣采用多層神經(jīng)網(wǎng)絡，這極大地限制了“感知機”在處理上的靈活性。本來，如果給羅森布拉特更多的時間，他或許可以想到如何對自己的發(fā)明進行改進的辦法。但一個人的出現(xiàn)，改變了這一切。這個人就是馬文·明斯基（MarvinMinsky）。

在人工智能的歷史上，明斯基是一個舉足輕重的人物。正是他和約翰·麥卡錫（JohnMcCarthy）等幾位教授一起推動了1956年的達特茅斯會議，人工智能才得以成為了一門獨立的學科。早年，他也對神經(jīng)網(wǎng)絡很感興趣，并親手打造了一臺名叫SNARE的機器——這可能是歷史上第一個真正的人造神經(jīng)網(wǎng)絡。但很快，他就轉變了看法，認為用神經(jīng)網(wǎng)絡這種模仿人腦來創(chuàng)建人工智能的方法是低效的。機器或許更適合用符號和邏輯規(guī)則來實現(xiàn)智能。

在看到羅森布拉特的“感知機”爆火后，明斯基寫了一本關于神經(jīng)網(wǎng)絡的書，并故意將其命名為《感知機》。在書中，明斯基指出了神經(jīng)網(wǎng)絡的許多不足，例如它無法處理邏輯上的異或關系等，從理論上為感知機宣判了死刑。

雖然明斯基的批評顯得很不厚道，但客觀地說，這些批評確實指出了當時神經(jīng)網(wǎng)絡的不足之處。羅森布拉特在幾次改進失敗后，逐步放棄了完善感知機的計劃。而隨著明斯基和羅森布拉特的爭論，剛剛誕生不久的人工智能學科也逐漸分裂成了兩大陣營——推崇符號和邏輯的“符號主義”和推崇神經(jīng)網(wǎng)絡的“連接主義”。

1971年，羅森布拉特在一次帆船事故中去世。隨著這位標志性人物的意外身故，“連接主義”也進入了漫長的低谷期。

神經(jīng)網(wǎng)絡的再起

羅森布拉特去世后的幾十年，符號主義主導了人工智能的發(fā)展。在這個學派看來，構建人工智能的關鍵在于讓機器建立起邏輯推理的能力。至于這種能力是用類似人腦的模式實現(xiàn)的，還是按照其他的方式實現(xiàn)的則無關緊要。沿著這個思路，研究者們?nèi)〉昧艘幌盗幸俗⒛康某删?，?ldquo;邏輯理論家”、啟發(fā)式搜索、專家系統(tǒng)、知識庫和知識圖譜等，都是這一研究思路下的產(chǎn)物。與符號主義研究的日漸興盛形成鮮明對比的是神經(jīng)網(wǎng)絡研究的凋敝。從事這類研究的學者不僅很難申請到經(jīng)費，甚至在會議宣講論文時都會被視為是騙子或神棍。

不過，即使在這種惡劣的情形之下，依然有一群連接主義的信徒在默默努力。在他們看來，機器通過模仿大腦來實現(xiàn)人工智能絕非天方夜譚，只不過當前的人們還沒有找到其中的奧秘而已。在當時的學界，這群人被戲稱為“地下神經(jīng)網(wǎng)絡”。

杰弗里·辛頓（GeoffreyHinton）就是“地下神經(jīng)網(wǎng)絡”的一員。辛頓出生于英國的一個學術世家，其家族曾出過大批知名學者。他的父親是劍橋大學教授，著名的昆蟲學家。不過，家族的榮耀并沒有讓辛頓的學術之路一帆風順，恰恰相反，他的前半生可謂是一路蹉跎。

高中時，辛頓從一位同學那里了解到了大腦神經(jīng)網(wǎng)絡的一些知識，從此迷上了這個領域。大學時，他選擇了物理專業(yè)，卻因數(shù)學能力不足而轉去了哲學系，隨后又轉到了實驗心理學系，最終，又從實驗心理學系退學。隨后，他干脆離開了學界，干起了木匠。

在做木匠期間，他閱讀了加拿大心理學家赫布（DonaldHebb）的《行為組織》（TheOrganizationofBehavior）一書，了解了神經(jīng)元通過發(fā)送電信號彼此聯(lián)系、傳遞信息的過程。在這本書的引導下，他對大腦的興趣被重新點燃了，于是就決心重回學術界。于是，在父親的幫助之下，他進入了愛丁堡大學，跟隨朗吉特—希金斯（ChristopherLonguet-Hig－gins）學習人工智能。朗吉特—希金斯曾是一位出色的理論化學家，被人工智能的理念吸引而轉入了這個行業(yè)。本來，希金斯他更傾向于連接主義。但在辛頓入學之前他讀了明斯基的書，觀點轉向了符號主義。在這樣的背景下，他和辛頓的師徒關系就可想而知了。

1978年，辛頓從愛丁堡大學畢業(yè)。但在當時，他很難在英國找到工作，于是不得不遠渡重洋來到美國的學界謀生。盡管在美國，連接主義依然處于邊緣地位，但相比于英國，這兒的學術環(huán)境要相對寬松，這讓他得以按照自己的想法，自由地探索神經(jīng)網(wǎng)絡的奧秘。盡管收入微薄、研究條件惡劣，但辛頓憑借自己的努力，在短短幾年內(nèi)就完成了兩個重大的成就——“反向傳播”（Backpropagation，簡稱BP）算法和玻爾茲曼機（BoltzmannMachine）。

如前所述，羅森布拉特的“感知機”之所以失敗，是由于單層神經(jīng)網(wǎng)絡過于簡單，因而它確實如明斯基所說的那樣，連“抑或”這樣的邏輯運算都不能實現(xiàn)。因而，要提升神經(jīng)網(wǎng)絡的功能，它就必須要多層化。但一旦神經(jīng)網(wǎng)絡多層化了，參數(shù)的調(diào)整就會成為設計者的噩夢。對于參數(shù)較少的單層網(wǎng)絡，他們可以很容易地通過試錯來完成這一切，但當網(wǎng)絡層數(shù)和參數(shù)變得更多后，全憑經(jīng)驗調(diào)整就幾乎是不可能的。“反向傳播”算法的基本思想來自微積分中的鏈式法則，這一參數(shù)給出了每一個參數(shù)的變化與下一層各參數(shù)變化之間的關系。借助這層關系，設計者們就可以從最后的輸出結果出發(fā)，按照從后往前的順序一層層對參數(shù)進行調(diào)整。通過這一方法，調(diào)參的效率就可以得到大幅度地提升。玻爾茲曼機本質(zhì)上就是一個兩層的神經(jīng)網(wǎng)絡模型。辛頓設計了這個模型，并用反向傳播算法調(diào)整了它的參數(shù)。這樣，這個模型就不僅可以用來識別圖形，還可以用來完成很多其他的工作。

當辛頓完成了上述工作后，他非常想把這一切及時分享給學界，并告訴大家：神經(jīng)網(wǎng)絡可以做到這些了。他興奮地來到了人工智能的大會，把自己的論文發(fā)給每一個參會者，但卻很少有人重視。他也把論文給了明斯基，但明斯基甚至都懶得翻一下論文，走時就把它遺落在了會場。

在那個時代，辛頓的遭遇絕非偶然。但和他類似的連接主義者們并沒有因此放棄自己的理念。在他們的努力之下，遞歸神經(jīng)網(wǎng)絡（RecurrentNeuralNetwork，RNN）、卷積神經(jīng)網(wǎng)絡（Convo－lutionalNeuralNetworks，CNN）等工具被陸續(xù)發(fā)展出來。這個曾經(jīng)被宣布已經(jīng)死亡的學科又正在悄悄復活。

現(xiàn)在，是時候向全世界證明連接主義的價值了，從哪兒跌倒，就從哪兒站起來！當年，“感知機”因未能達到圖形識別的預期能力，才被人們認為是失敗的產(chǎn)品，那么重新證明神經(jīng)網(wǎng)絡模型能力的復仇戰(zhàn)就依然從圖形識別開始吧。

連接主義者的“回歸秀”發(fā)生在2012年的“ImageNet大規(guī)模視覺識別競賽”（簡稱ILSVRC）上。ILSVRC是由斯坦福大學的華裔教授李飛飛發(fā)起的一個挑戰(zhàn)項目，是計算機視覺領域最著名的挑戰(zhàn)賽之一。在每一年的ILSVRC中，主辦方都會由李飛飛教授建立的ImageNet數(shù)據(jù)集——一個包含有1400萬張帶有標注的圖片的數(shù)據(jù)集中抽取部分樣本，要求參賽者用自己的算法進行識別，最終準確度最高的算法將會勝出。最初兩年，ILSVRC的參賽者使用的大多是支持向量機等傳統(tǒng)機器學習算法，最終優(yōu)勝者的識別準確度大多在70%左右。到了2012年的ILSVRC，情況發(fā)生了根本性的改變，由辛頓和他的兩個學生伊利亞·蘇茨克沃（IlyaSutskever）、亞歷克斯·克里切夫斯基（AlexKrizhevsky）設計的AlexNet以85%左右的識別準確率一舉斬獲了當年大賽的優(yōu)勝，一下子把準確率記錄提升了10%以上。

AlexNet是一個八層的神經(jīng)網(wǎng)絡，其中前三層為卷積神經(jīng)網(wǎng)絡層，后三層則為全連接層，整個模型包含65萬個神經(jīng)元，參數(shù)量在6千萬以上。容易看到，從構架上看，它就是塞弗里奇“魔宮”的一個擴展，只不過原本在塞弗里奇的構想中，“魔宮”只有四道門，而辛頓等人則把它擴建到了有八道門。而65萬個神經(jīng)元，就像魔宮中的群魔一樣，守在各道門后。早在數(shù)十年前，塞弗里奇就預言，只要參數(shù)設定得當，人們就可以順利地從圖形中提煉出其中的信息，就如同魔宮中的群魔在訓練之后，就可以提取人的靈魂一樣。不過，在塞弗里奇那個時代，人們并沒有找到訓練這些魔鬼的魔法，因而并沒有人真正馴服群魔。而在這個時候，辛頓已經(jīng)掌握了“反向傳播算法”，利用這個“魔法”，他把魔宮中的群魔訓練成了強大的魔軍。在這支魔軍面前，之前被人們認為不可能完成的任務被輕而易舉地完成了。

從學科發(fā)展的角度看，AlexNet的成功無疑是具有里程碑意義的。它讓被人們忽視已久的神經(jīng)網(wǎng)絡重新被人們認識，連接主義在被符號主義壓制數(shù)十年之后，終于成為了人工智能發(fā)展的主流。對于辛頓個人，這一次成功也是一起非常重要的事件?，F(xiàn)在，他終于不再會遭人白眼，不再會被人視為三流學者，他的論文開始被人爭相閱讀，引用量開始成千上萬。他，那個曾經(jīng)的小木匠，成了人工智能領域的英雄！

或許是出于憂慮神經(jīng)網(wǎng)絡這個長期被符號主義者污名化的詞不利于傳播，辛頓專門為他的研究改名叫深度學習——即用深度神經(jīng)網(wǎng)絡進行學習之意也。而由于對深度學習這個領域的貢獻，他本人就被冠上了“深度學習之父”的名號。

學術的反向傳播

AlexNet的大獲成功讓人們看到了深度學習的巨大潛力。由此，大量的人才開始涌入這個領域，大量的資本也開始對其追捧。在這些要素的推動之下，神經(jīng)網(wǎng)絡這個被壓抑了幾十年的研究領域迎來了前所未有的爆發(fā)。從Al－phaGO（阿爾法圍棋）戰(zhàn)勝人類圍棋高手，到AlphaFold（阿爾法折疊）預測上億的蛋白質(zhì)組合，再到ChatGPT（人工智能聊天機器人）的橫空出世，神經(jīng)網(wǎng)絡不斷地向人們證明了自己的實力?，F(xiàn)在，神經(jīng)網(wǎng)絡這個工具的用途早已超越了圖形識別，而幾乎被用在了各行各業(yè)。

對于連接主義的信奉者而言，這一切當然是非常值得欣慰的。不過，在巨大的成功背后，還有一個棘手的問題有待回答：現(xiàn)在的神經(jīng)網(wǎng)絡究竟在多大程度上和人腦的神經(jīng)系統(tǒng)具有相似性？

現(xiàn)在神經(jīng)網(wǎng)絡技術之所以可以被普遍應用，反向傳播算法起到了非常關鍵的作用。但正如我們所見，這個算法的靈感是來自數(shù)學而非腦科學。那么，在大腦當中，是否也存在著類似的機制呢？長期以來，即使是最堅定的連接主義者都對此表示了懷疑，甚至連其發(fā)明人辛頓都曾考慮過是否應該放棄這個算法。

直到2020年，這個問題才終于有了一個相對明確的答案。那年的《自然評論：神經(jīng)科學》雜志發(fā)表了一篇題為《反向傳播和大腦》（BackpropagationandtheBrain）的論文。論文指出，大腦在學習的過程中，確實會對神經(jīng)元之間的突觸進行調(diào)節(jié)。大腦在調(diào)整的過程中，會根據(jù)目標和活動結果的差異來對錯誤進行編碼，并以此指導突觸權重的變化。這一切，就好像人們在練習打球時，如果發(fā)現(xiàn)球飛得高了，下一次就會自動降低發(fā)球的角度和力度，讓其更低一些；而如果發(fā)現(xiàn)球飛得低了，則會增加發(fā)球的角度和力度，讓它更高一些一樣——只不過，所有的這一切都是在神經(jīng)元的層面上進行的，并且會通過突觸在不同神經(jīng)元之間傳播進行。

這種機制幾乎是和人工智能領域的反向傳播算法如出一轍。更確切地說，這種算法原本就存在于大腦的神經(jīng)系統(tǒng)當中，只不過原先神經(jīng)科學家們并沒有注意到這個機制，而人工智能專家們的成果則反過來啟發(fā)人們重新認識了它。

值得一提的是，作為反向傳播算法的發(fā)現(xiàn)者，辛頓也是這篇論文的作者之一。縱觀辛頓的學術生涯，他原本感興趣的是腦科學，但卻陰差陽錯地從人工智能出發(fā)，再反過來探索人腦的奧秘，這又何嘗不是一種學術上的反向傳播呢？

從永生回到凡人

從麥卡洛克和皮茨合作提出M-P模型，到“深度學習革命”如今的如火如荼，神經(jīng)科學學科已經(jīng)為人工智能學科做出了相當?shù)呢暙I。那么，在未來，神經(jīng)科學學科還可以繼續(xù)給人工智能學科提供更多的靈感和啟發(fā)嗎？答案當然是肯定的。事實上，盡管現(xiàn)在的人工智能在很多方面已經(jīng)超越了人腦，但在其他的不少方面，人腦依然有著更為優(yōu)越的表現(xiàn)。比如，在記憶、直覺、情感生成等方面，人腦的表現(xiàn)都遠非人工智能可比。從這個意義上看，人工智能可以向人腦學習的地方還有很多。

在人腦的眾多優(yōu)勢當中，最為突出的一點是它在學習的效率上要比人造的神經(jīng)網(wǎng)絡高出很多?，F(xiàn)在，人們雖然可以訓練出參數(shù)量巨大的人工智能，其中一些的參數(shù)量甚至已經(jīng)超過了人腦神經(jīng)元的數(shù)量，但這么做的代價卻是巨大的。比如，在訓練GPT（生成預訓練變換器）模型時，OpenAI（開放人工智能公司）就動用了上萬張顯卡，訓練一次的耗電就高達上千兆瓦時。而相比之下，人腦在學習時消耗的能量卻非常少。那么，人腦究竟是如何做到這一點的？人工智能是否可以模仿人腦做到這一點？圍繞著這兩個問題，一個被稱為“類腦計算”的全新領域正在蓬勃發(fā)展。

在類腦計算的各個技術路線中，由辛頓提出的“凡人計算”（MortalComputation）是一個非常值得關注的方向。這個思想來自一個非常重要的觀察，即大腦的運作并非只是單純的神經(jīng)元之間的信息傳遞，它是和其大腦的物理基礎緊密相關的。換言之，大腦本身就是一個軟硬件一體化的機器，它的軟件，即思想不能脫離其硬件存在，如果大腦毀滅了，思維活動也就隨之停止了。相比之下，人造的神經(jīng)網(wǎng)絡則是建筑在經(jīng)典的馮·諾伊曼架構上的，它產(chǎn)生的信息可以脫離硬件存在的，可以從一臺機器轉移到另一臺機器，因而可以說是一種“永生運算”（ImmortalComputation）。聽起來，“永生運算”要比“凡人運算”有吸引力得多，但其代價就是，它會需要消耗更多的能量，因為在永生運算中，信息需要不斷在存儲介質(zhì)上進行寫入和擦除，由此將會產(chǎn)生巨大的能量消耗。如果由此產(chǎn)生的成本超過了硬件成本，那么永生運算在效率上看就不如凡人運算?；谶@一認識，辛頓建議未來的人們在構建神經(jīng)網(wǎng)絡時，可以考慮同時仿照人腦，開發(fā)更適合它們的一次性硬件。雖然這會讓運算失去永生，但考慮到它能節(jié)約巨大的能耗，那么這一切依然是值得的。

幾十年前，當皮茨剛剛拜入維納門下時，維納曾和馮·諾伊曼（JohnvonNeumann）聊起他這位新弟子創(chuàng)造的M-P模型。一開始，馮·諾伊曼覺得這個模型很有意思，覺得它潛力巨大。但隨后，他又對維納表示了憂慮。他擔心一旦人們過于將注意力放在神經(jīng)元的運作問題，對大腦物理結構的關注就可能隨之減少，可能讓人們忽視了真正重要的東西。當我們重新回看馮·諾伊曼的這段評論，就不得不感嘆他的敏銳?，F(xiàn)在，神經(jīng)網(wǎng)絡的研究已經(jīng)證明了其價值，以后相關科學研究的重點可能要重新回到對大腦物理結構的認知上來了。

結語

回顧人工智能數(shù)十年的發(fā)展史，我們不難發(fā)現(xiàn)，它的成功很大程度上來自不同學科之間的相互啟迪和相互激發(fā)。只有當神經(jīng)科學、數(shù)學、物理學、工程學這些學科之間彼此合作時，人工智能才能得到迅速的發(fā)展。而當學者們出于門派之見彼此隔絕，甚至彼此攻擊時，學科的發(fā)展速度就會減慢。從這個意義上講，雖然現(xiàn)在連接主義已經(jīng)成為了人工智能領域絕對的主導思想，但如果研究者們能夠抽空讀讀西蒙（HerbertSimon）、紐厄爾（AllenNewell）等符號主義大師的作品，那他們也一定可以從中找到有益的啟發(fā)。

傳說中，神由于害怕人們合力造出能夠通向天庭的巴別塔，所以施法變亂了他們的語言，讓他們難以交流。現(xiàn)在的研究者為了突破科學的邊界，就必須齊心協(xié)力，人為地制造隔閡，是無益于科學，也無益于自己的。