從神經(jīng)元到人工智能

陳永偉2024-06-17 13:57

陳永偉/文 神經(jīng)網(wǎng)絡(luò )的誕生

1935年的一天,英國哲學(xué)家伯特蘭·羅素(Bertrand Russel)收到了一封來(lái)自美國底特律的信。寫(xiě)信人自稱(chēng)叫沃爾特·皮茨(Walter Pitts),在閱讀羅素和其老師懷特海(Alfred North Whitehead)合著(zhù)的《數學(xué)原理》時(shí)發(fā)現了幾處錯誤,因而特別來(lái)信指出。讀完信,羅素找來(lái)《數學(xué)原理》進(jìn)行了一番核對,發(fā)現來(lái)信人確實(shí)言之有理。于是,他立即向皮茨回信表示了感謝,并邀請皮茨來(lái)劍橋大學(xué)跟隨他攻讀研究生。

然而,皮茨并沒(méi)有接受這個(gè)邀請。這并不是因為他過(guò)于傲慢,而是因為他當時(shí)只有12歲,甚至連高中都還沒(méi)上。當時(shí),皮茨生活的街區治安并不好,他經(jīng)常被街頭的小混混欺負。在家里,他脾氣暴躁的父親又經(jīng)常對他拳打腳踢。為了避免挨打,他經(jīng)常將社區圖書(shū)館作為庇護所。那天,他又出于同樣的目的來(lái)到了圖書(shū)館,并偶然發(fā)現了書(shū)架上的《數學(xué)原理》。然后,他奇跡般地只用三天就看完了這部2000頁(yè)的皇皇巨著(zhù),并發(fā)現了其中的問(wèn)題給羅素寫(xiě)了信。

盡管皮茨不能跟隨羅素去讀研究生,但通過(guò)這番通信,兩人也算成了熟人。1938年,皮茨聽(tīng)說(shuō)羅素要去芝加哥講學(xué),就果斷離家出走,來(lái)到了芝加哥。在芝加哥大學(xué),皮茨終于見(jiàn)到了自己的筆友。羅素十分高興,并將他推薦給了在芝加哥任教的著(zhù)名哲學(xué)家魯道夫·卡爾納普(Rudolf Carnap)??柤{普把他留在了芝加哥,還為他找了一份清潔工的工作用以維持生計。于是,皮茨就成了芝加哥大學(xué)的一位旁聽(tīng)生。

在芝加哥大學(xué)期間,皮茨的天才引起了很多人的注意,其中就包括一位叫杰羅姆·萊特文(Jerome Lettvin)的醫學(xué)院研究生。萊特文對這位神童十分欽佩,不久后又將他介紹給了著(zhù)名的神經(jīng)學(xué)家沃倫·麥卡洛克(Warren McCuloch)。在麥卡洛克結識皮茨時(shí),他已經(jīng)42歲,但他卻發(fā)現自己和這位比自己小25歲的年輕人聊得十分投機——可能,這是因為兩人都崇拜萊布尼茨,并且都讀過(guò)《數學(xué)原理》。當時(shí),皮茨在芝加哥沒(méi)有住所,麥卡洛克就干脆邀請他住到了自己的家中。此后,這對同住一個(gè)屋檐下的神經(jīng)學(xué)家和數學(xué)神童就經(jīng)常在一起探討問(wèn)題、交流思想。

那段時(shí)間,麥卡洛克正在嘗試用邏輯運算對大腦進(jìn)行建模。作為一名神經(jīng)學(xué)家,他在實(shí)驗中觀(guān)察到:在大腦中,每個(gè)神經(jīng)元都與其他神經(jīng)元相連,當神經(jīng)元興奮時(shí),就會(huì )向相連的神經(jīng)元發(fā)送化學(xué)物質(zhì),從而改變這些神經(jīng)元內的電位;如果某個(gè)神經(jīng)元的電位超過(guò)了一個(gè)閾值,它就會(huì )被激活,即興奮起來(lái),并向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)。他覺(jué)得,這種現象似乎可以和《數學(xué)研究》中的邏輯概念聯(lián)系起來(lái)。具體來(lái)說(shuō),每一個(gè)神經(jīng)元信號就像是一個(gè)命題,它們像邏輯門(mén)一樣運行,接收多種信號的輸入,并產(chǎn)生單獨的輸出信號。通過(guò)變更神經(jīng)元的放電閾值,神經(jīng)元就可以表現出連接、分離、否定等行為,而它們就正好對應于邏輯中的“與”“或”和“非”?;谶@個(gè)認識,他想把神經(jīng)元的運動(dòng)模式用一個(gè)數學(xué)模型表示出來(lái)。遺憾的是,麥卡洛克本人的數學(xué)能力并不強,所以他沒(méi)能完成這個(gè)模型。

麥卡洛克將這個(gè)想法告訴了皮茨,希望他可以用自己的數學(xué)天才幫助自己。皮茨沒(méi)有辜負他的希望,一番努力之后,他將麥卡洛克的想法發(fā)展成一個(gè)數學(xué)模型。模型中,神經(jīng)元被描述成了一個(gè)邏輯門(mén),它會(huì )將來(lái)自周邊神經(jīng)元的信號加權求和,然后將得到的值代入一個(gè)非線(xiàn)性函數中,這個(gè)函數會(huì )根據輸入的值來(lái)決定神經(jīng)元究竟是關(guān)閉還是打開(kāi)。通過(guò)這樣的設定,神經(jīng)元的法則就被表示成了一個(gè)數學(xué)模型。雖然這個(gè)模型看似十分簡(jiǎn)單,但通過(guò)組合,它可以表達復雜的腦神經(jīng)活動(dòng)。麥卡洛克對皮茨的工作十分滿(mǎn)意,他很快將這個(gè)模型整理成了一篇論文,還讓自己的女兒為論文配上了手繪插圖。

1943年,這篇名為《神經(jīng)活動(dòng)中思想內在性的邏輯演算》(ALogicalCal-culusofIdeasImmanentinNervousAc-tivity)正式發(fā)表,“麥卡洛克—皮茨模型”(簡(jiǎn)稱(chēng)M-P模型)也因此而被人所知。這個(gè)模型,就是神經(jīng)網(wǎng)絡(luò )領(lǐng)域的開(kāi)山之作。直至今天,神經(jīng)網(wǎng)絡(luò )的大部分研究都依然以此作為基礎。

憑著(zhù)這篇開(kāi)創(chuàng )性論文,皮茨獲得了芝加哥大學(xué)的準學(xué)士學(xué)位——由于他在芝加哥大學(xué)沒(méi)有學(xué)籍,所以他并沒(méi)有能獲得正式的學(xué)生學(xué)位。不過(guò),在當時(shí)那個(gè)年代,學(xué)位并不是一件大不了的事,相比于一紙文憑,那篇開(kāi)創(chuàng )性的論文更加可以證明皮茨的天賦。

不久之后,皮茨在萊特文的引薦下認識了麻省理工學(xué)院的數學(xué)家維納(NorbertWiener)。對于這位年紀輕輕就寫(xiě)出重量級論文的年輕人,維納也十分欣賞,于是就破格收下他作為自己的博士生。那時(shí),維納正著(zhù)手創(chuàng )建“控制論”(Cybernetics),一門(mén)旨在用數學(xué)的方法描述機器、生命和社會(huì )的一般規律的新學(xué)科。皮茨順理成章地成為了他的助手。

維納的器重,讓皮茨感到了前所未有的溫暖。但他不知道的是,這其實(shí)是他后半生悲劇的開(kāi)始。幾年之后,維納莫名與皮茨反目,這讓一直對維納敬愛(ài)有加的皮茨精神備受打擊,從此一蹶不振。關(guān)于維納與皮茨師徒反目的原因,外人并不能確知。有人說(shuō)維納躁狂的性格導致了這一切,也有人說(shuō),這是由于他們在研究思路上出了分歧。從后來(lái)的證據看,后一種說(shuō)法似乎更有道理,因為在維納的本來(lái)思路中,控制論包括對神經(jīng)網(wǎng)絡(luò )的研究,但師徒二人分道揚鑣后,這一塊內容從維納的研究版圖中被抹去了。無(wú)論如何,這場(chǎng)決裂確實(shí)毀掉了一個(gè)天才,此后,皮茨就終日借酒澆愁,直到二十多年后在貧病交加中孤獨死去。

通向魔宮的道路

當皮茨跟隨維納攻讀博士時(shí),還有一位比他年輕三歲的學(xué)生,名叫奧利弗·塞弗里奇(OliverSelfridge),也在跟隨維納學(xué)習。塞弗里奇本來(lái)是學(xué)習數學(xué)的,但在皮茨和萊特文的熏陶之下,他也開(kāi)始對神經(jīng)網(wǎng)絡(luò )感興趣。幾年后,麥卡洛克也來(lái)到了麻省理工學(xué)院,于是麥卡洛克、皮茨、萊特文和塞弗里奇這四人就經(jīng)常在一起討論問(wèn)題、交流思想。

后來(lái),維納和皮茨的那場(chǎng)決裂顯然波及了塞弗里奇,維納也因此和他斷絕了往來(lái)。這導致了塞弗里奇沒(méi)有能拿到博士學(xué)位。不過(guò),憑借著(zhù)優(yōu)秀的數學(xué)和工程能力,他還是順利地在麻省理工學(xué)院的林肯實(shí)驗室找到了工作,并參與了第一個(gè)擴頻系統的建造。在工作之余,他還是熱衷于神經(jīng)網(wǎng)絡(luò )方面的研究。

1959年,塞弗里奇讀到了一篇由他的昔日老友麥卡洛克、皮茨、萊特文,以及另一位智利生物學(xué)家馬圖拉納(HumbertoMaturana)合寫(xiě)的論文《青蛙的眼睛告訴青蛙的大腦什么》(WhattheFrog’sEyeTellsFrog’sBrain)。這篇文章講了一個(gè)顛覆常識的故事:過(guò)去,人們認為眼睛作為感覺(jué)器官,只是負責接受信息,信息的處理都是由大腦完成的。但實(shí)驗表示,眼睛在接收了信息之后,至少進(jìn)行了部分解釋工作,然后再將它傳遞給大腦。大腦是在此基礎之上進(jìn)一步進(jìn)行的計算。比如,當青蛙看到有蟲(chóng)子飛過(guò)來(lái)時(shí),其眼睛就會(huì )立即將蟲(chóng)子的信息傳遞給大腦;而當一般的環(huán)境變化時(shí),蛙眼則不會(huì )傳遞任何信息。這表明,蛙眼在接受信息之后,確實(shí)會(huì )首先對其進(jìn)行一次識別,然后再決定是否將其傳遞給大腦。

這篇老友的作品讓塞弗里奇大受啟發(fā),一個(gè)信息識別過(guò)程的模型慢慢在他的腦中浮現。不久之后,他就將這個(gè)想法整理成了一個(gè)模型,并將這個(gè)模型起了一個(gè)十分聳人聽(tīng)聞的名字——“魔宮模型”(PandemoniumModel,Pande-monium是傳說(shuō)中撒旦的宮殿)。這個(gè)模型將信息識別的過(guò)程比作了進(jìn)入魔宮的過(guò)程。在通往魔宮的道路上,共有四道門(mén),每一道門(mén)后面都站著(zhù)不同類(lèi)型的妖魔。在第一道門(mén)背后站著(zhù)的是“圖像魔鬼”,它們負責記錄和傳遞輸入數據或圖像;第二道門(mén)背后站的是“特征魔鬼”,它們負責從輸入的信息中提取某些特征;第三道門(mén)背后站的是“認知魔鬼”,它們負責根據各種特征整理出有用的信息;第四道門(mén)背后站的是“決策魔鬼”,它們負責最后確認并輸出結果。所有這些“群魔”集中在一起,就可以共同完成對外部信息的識別。以識別手寫(xiě)的單詞為例,“圖像魔鬼”將負責感知信息;“特征魔鬼”將負責提取出文字中的各種特征,如“弧形”“彎鉤”等;“認知魔鬼”將負責根據特征識別出一個(gè)個(gè)的字母;最后“決策魔鬼”將所有識別出的文字加在一起,就得到了要識別的單詞。

當然,所謂的“魔宮”“群魔”,只不過(guò)是塞弗里奇為了引起讀者注意而故意搞的怪。事實(shí)上,這一個(gè)個(gè)亂舞的群魔完全可以被正式地表述成M-P模型中所刻畫(huà)的神經(jīng)元。這樣,通往魔宮的道路就變成了一張多層的神經(jīng)網(wǎng)絡(luò )。因而,“魔宮模型”實(shí)際上第一次向人們展示了用神經(jīng)網(wǎng)絡(luò )識別圖形和文字信息的方法,而塞弗里奇也因這個(gè)成就被后人尊為了“模式識別之父”。

感知機的成與敗

“魔宮模型”的提出在理論上揭示了用神經(jīng)網(wǎng)絡(luò )來(lái)進(jìn)行模式識別的可能性,那么,人們是否可以用這一原理來(lái)制作用以識別圖形或文字的機器呢?答案是肯定的。事實(shí)上,早在塞弗里奇構建他的“魔宮”之前,就已經(jīng)有人做出了用神經(jīng)網(wǎng)絡(luò )進(jìn)行圖形識別的機器。這個(gè)機器就是著(zhù)名的“感知機”(Percep-tron)。

創(chuàng )造“感知機”的人叫弗蘭克·羅森布拉特(FrankRosenblatt),是康奈爾大學(xué)的心理學(xué)教授。作為一位心理學(xué)家,羅森布拉特對腦的構造十分感興趣。他讀過(guò)麥卡洛克和皮茨的那篇經(jīng)典論文,并敏銳地意識到這個(gè)神經(jīng)網(wǎng)絡(luò )模型可以用來(lái)從事圖形識別等工作。

為了驗證這個(gè)想法,羅森布拉特在一臺IBM704機器上進(jìn)行了嘗試。具體來(lái)說(shuō),他根據M-P模型的思路,構建了一個(gè)神經(jīng)網(wǎng)絡(luò )。這個(gè)網(wǎng)絡(luò )的輸入端可以用來(lái)讀取寫(xiě)有字母的卡片,然后這個(gè)神經(jīng)網(wǎng)絡(luò )會(huì )提取其中的特征信息,對信息進(jìn)行加工后,機器就會(huì )輸出其判斷的結果。一開(kāi)始,羅森布拉特的“感知機”運作得并不好,但通過(guò)他對模型參數的精心調整,“感知機”的表現就明顯改善了。

1958年7月,羅森布拉特在美國國家氣象局向人們展示了“感知機”的用處。當計算機成功地識別出了印在卡片上的一個(gè)個(gè)字母后,在場(chǎng)的觀(guān)眾無(wú)不驚嘆不已。第二天,羅森布拉特和他的“感知機”就登上了各大報刊的頭版。美國海軍、美國郵政局等單位也紛紛向羅森布拉特投來(lái)了橄欖枝,希望將這項發(fā)明用于實(shí)踐。

所謂“福兮禍之所伏”,當時(shí)“感知機”的技術(shù)還十分不成熟,這樣過(guò)度的贊譽(yù)對它而言絕不是一件好事。不久之后,它的缺陷就暴露了。人們發(fā)現,這臺機器只能識別規范印刷的字母,對于手寫(xiě)的字母卻無(wú)能為力。這意味著(zhù),這時(shí)的“感知機”至多只是一個(gè)華而不實(shí)的東西,并無(wú)實(shí)際的用途。其實(shí),從現在的觀(guān)點(diǎn)看,“感知機”的最關(guān)鍵問(wèn)題在于它僅用了一層的神經(jīng)網(wǎng)絡(luò ),而沒(méi)有像“魔宮模型”所建議的那樣采用多層神經(jīng)網(wǎng)絡(luò ),這極大地限制了“感知機”在處理上的靈活性。本來(lái),如果給羅森布拉特更多的時(shí)間,他或許可以想到如何對自己的發(fā)明進(jìn)行改進(jìn)的辦法。但一個(gè)人的出現,改變了這一切。這個(gè)人就是馬文·明斯基(MarvinMinsky)。

在人工智能的歷史上,明斯基是一個(gè)舉足輕重的人物。正是他和約翰·麥卡錫(JohnMcCarthy)等幾位教授一起推動(dòng)了1956年的達特茅斯會(huì )議,人工智能才得以成為了一門(mén)獨立的學(xué)科。早年,他也對神經(jīng)網(wǎng)絡(luò )很感興趣,并親手打造了一臺名叫SNARE的機器——這可能是歷史上第一個(gè)真正的人造神經(jīng)網(wǎng)絡(luò )。但很快,他就轉變了看法,認為用神經(jīng)網(wǎng)絡(luò )這種模仿人腦來(lái)創(chuàng )建人工智能的方法是低效的。機器或許更適合用符號和邏輯規則來(lái)實(shí)現智能。

在看到羅森布拉特的“感知機”爆火后,明斯基寫(xiě)了一本關(guān)于神經(jīng)網(wǎng)絡(luò )的書(shū),并故意將其命名為《感知機》。在書(shū)中,明斯基指出了神經(jīng)網(wǎng)絡(luò )的許多不足,例如它無(wú)法處理邏輯上的異或關(guān)系等,從理論上為感知機宣判了死刑。

雖然明斯基的批評顯得很不厚道,但客觀(guān)地說(shuō),這些批評確實(shí)指出了當時(shí)神經(jīng)網(wǎng)絡(luò )的不足之處。羅森布拉特在幾次改進(jìn)失敗后,逐步放棄了完善感知機的計劃。而隨著(zhù)明斯基和羅森布拉特的爭論,剛剛誕生不久的人工智能學(xué)科也逐漸分裂成了兩大陣營(yíng)——推崇符號和邏輯的“符號主義”和推崇神經(jīng)網(wǎng)絡(luò )的“連接主義”。

1971年,羅森布拉特在一次帆船事故中去世。隨著(zhù)這位標志性人物的意外身故,“連接主義”也進(jìn)入了漫長(cháng)的低谷期。

神經(jīng)網(wǎng)絡(luò )的再起

羅森布拉特去世后的幾十年,符號主義主導了人工智能的發(fā)展。在這個(gè)學(xué)派看來(lái),構建人工智能的關(guān)鍵在于讓機器建立起邏輯推理的能力。至于這種能力是用類(lèi)似人腦的模式實(shí)現的,還是按照其他的方式實(shí)現的則無(wú)關(guān)緊要。沿著(zhù)這個(gè)思路,研究者們取得了一系列引人注目的成就,如“邏輯理論家”、啟發(fā)式搜索、專(zhuān)家系統、知識庫和知識圖譜等,都是這一研究思路下的產(chǎn)物。與符號主義研究的日漸興盛形成鮮明對比的是神經(jīng)網(wǎng)絡(luò )研究的凋敝。從事這類(lèi)研究的學(xué)者不僅很難申請到經(jīng)費,甚至在會(huì )議宣講論文時(shí)都會(huì )被視為是騙子或神棍。

不過(guò),即使在這種惡劣的情形之下,依然有一群連接主義的信徒在默默努力。在他們看來(lái),機器通過(guò)模仿大腦來(lái)實(shí)現人工智能絕非天方夜譚,只不過(guò)當前的人們還沒(méi)有找到其中的奧秘而已。在當時(shí)的學(xué)界,這群人被戲稱(chēng)為“地下神經(jīng)網(wǎng)絡(luò )”。

杰弗里·辛頓(GeoffreyHinton)就是“地下神經(jīng)網(wǎng)絡(luò )”的一員。辛頓出生于英國的一個(gè)學(xué)術(shù)世家,其家族曾出過(guò)大批知名學(xué)者。他的父親是劍橋大學(xué)教授,著(zhù)名的昆蟲(chóng)學(xué)家。不過(guò),家族的榮耀并沒(méi)有讓辛頓的學(xué)術(shù)之路一帆風(fēng)順,恰恰相反,他的前半生可謂是一路蹉跎。

高中時(shí),辛頓從一位同學(xué)那里了解到了大腦神經(jīng)網(wǎng)絡(luò )的一些知識,從此迷上了這個(gè)領(lǐng)域。大學(xué)時(shí),他選擇了物理專(zhuān)業(yè),卻因數學(xué)能力不足而轉去了哲學(xué)系,隨后又轉到了實(shí)驗心理學(xué)系,最終,又從實(shí)驗心理學(xué)系退學(xué)。隨后,他干脆離開(kāi)了學(xué)界,干起了木匠。

在做木匠期間,他閱讀了加拿大心理學(xué)家赫布(DonaldHebb)的《行為組織》(TheOrganizationofBehavior)一書(shū),了解了神經(jīng)元通過(guò)發(fā)送電信號彼此聯(lián)系、傳遞信息的過(guò)程。在這本書(shū)的引導下,他對大腦的興趣被重新點(diǎn)燃了,于是就決心重回學(xué)術(shù)界。于是,在父親的幫助之下,他進(jìn)入了愛(ài)丁堡大學(xué),跟隨朗吉特—希金斯(ChristopherLonguet-Hig-gins)學(xué)習人工智能。朗吉特—希金斯曾是一位出色的理論化學(xué)家,被人工智能的理念吸引而轉入了這個(gè)行業(yè)。本來(lái),希金斯他更傾向于連接主義。但在辛頓入學(xué)之前他讀了明斯基的書(shū),觀(guān)點(diǎn)轉向了符號主義。在這樣的背景下,他和辛頓的師徒關(guān)系就可想而知了。

1978年,辛頓從愛(ài)丁堡大學(xué)畢業(yè)。但在當時(shí),他很難在英國找到工作,于是不得不遠渡重洋來(lái)到美國的學(xué)界謀生。盡管在美國,連接主義依然處于邊緣地位,但相比于英國,這兒的學(xué)術(shù)環(huán)境要相對寬松,這讓他得以按照自己的想法,自由地探索神經(jīng)網(wǎng)絡(luò )的奧秘。盡管收入微薄、研究條件惡劣,但辛頓憑借自己的努力,在短短幾年內就完成了兩個(gè)重大的成就——“反向傳播”(Backpropagation,簡(jiǎn)稱(chēng)BP)算法和玻爾茲曼機(BoltzmannMachine)。

如前所述,羅森布拉特的“感知機”之所以失敗,是由于單層神經(jīng)網(wǎng)絡(luò )過(guò)于簡(jiǎn)單,因而它確實(shí)如明斯基所說(shuō)的那樣,連“抑或”這樣的邏輯運算都不能實(shí)現。因而,要提升神經(jīng)網(wǎng)絡(luò )的功能,它就必須要多層化。但一旦神經(jīng)網(wǎng)絡(luò )多層化了,參數的調整就會(huì )成為設計者的噩夢(mèng)。對于參數較少的單層網(wǎng)絡(luò ),他們可以很容易地通過(guò)試錯來(lái)完成這一切,但當網(wǎng)絡(luò )層數和參數變得更多后,全憑經(jīng)驗調整就幾乎是不可能的。“反向傳播”算法的基本思想來(lái)自微積分中的鏈式法則,這一參數給出了每一個(gè)參數的變化與下一層各參數變化之間的關(guān)系。借助這層關(guān)系,設計者們就可以從最后的輸出結果出發(fā),按照從后往前的順序一層層對參數進(jìn)行調整。通過(guò)這一方法,調參的效率就可以得到大幅度地提升。玻爾茲曼機本質(zhì)上就是一個(gè)兩層的神經(jīng)網(wǎng)絡(luò )模型。辛頓設計了這個(gè)模型,并用反向傳播算法調整了它的參數。這樣,這個(gè)模型就不僅可以用來(lái)識別圖形,還可以用來(lái)完成很多其他的工作。

當辛頓完成了上述工作后,他非常想把這一切及時(shí)分享給學(xué)界,并告訴大家:神經(jīng)網(wǎng)絡(luò )可以做到這些了。他興奮地來(lái)到了人工智能的大會(huì ),把自己的論文發(fā)給每一個(gè)參會(huì )者,但卻很少有人重視。他也把論文給了明斯基,但明斯基甚至都懶得翻一下論文,走時(shí)就把它遺落在了會(huì )場(chǎng)。

在那個(gè)時(shí)代,辛頓的遭遇絕非偶然。但和他類(lèi)似的連接主義者們并沒(méi)有因此放棄自己的理念。在他們的努力之下,遞歸神經(jīng)網(wǎng)絡(luò )(RecurrentNeuralNetwork,RNN)、卷積神經(jīng)網(wǎng)絡(luò )(Convo-lutionalNeuralNetworks,CNN)等工具被陸續發(fā)展出來(lái)。這個(gè)曾經(jīng)被宣布已經(jīng)死亡的學(xué)科又正在悄悄復活。

現在,是時(shí)候向全世界證明連接主義的價(jià)值了,從哪兒跌倒,就從哪兒站起來(lái)!當年,“感知機”因未能達到圖形識別的預期能力,才被人們認為是失敗的產(chǎn)品,那么重新證明神經(jīng)網(wǎng)絡(luò )模型能力的復仇戰就依然從圖形識別開(kāi)始吧。

連接主義者的“回歸秀”發(fā)生在2012年的“ImageNet大規模視覺(jué)識別競賽”(簡(jiǎn)稱(chēng)ILSVRC)上。ILSVRC是由斯坦福大學(xué)的華裔教授李飛飛發(fā)起的一個(gè)挑戰項目,是計算機視覺(jué)領(lǐng)域最著(zhù)名的挑戰賽之一。在每一年的ILSVRC中,主辦方都會(huì )由李飛飛教授建立的ImageNet數據集——一個(gè)包含有1400萬(wàn)張帶有標注的圖片的數據集中抽取部分樣本,要求參賽者用自己的算法進(jìn)行識別,最終準確度最高的算法將會(huì )勝出。最初兩年,ILSVRC的參賽者使用的大多是支持向量機等傳統機器學(xué)習算法,最終優(yōu)勝者的識別準確度大多在70%左右。到了2012年的ILSVRC,情況發(fā)生了根本性的改變,由辛頓和他的兩個(gè)學(xué)生伊利亞·蘇茨克沃(IlyaSutskever)、亞歷克斯·克里切夫斯基(AlexKrizhevsky)設計的AlexNet以85%左右的識別準確率一舉斬獲了當年大賽的優(yōu)勝,一下子把準確率記錄提升了10%以上。

AlexNet是一個(gè)八層的神經(jīng)網(wǎng)絡(luò ),其中前三層為卷積神經(jīng)網(wǎng)絡(luò )層,后三層則為全連接層,整個(gè)模型包含65萬(wàn)個(gè)神經(jīng)元,參數量在6千萬(wàn)以上。容易看到,從構架上看,它就是塞弗里奇“魔宮”的一個(gè)擴展,只不過(guò)原本在塞弗里奇的構想中,“魔宮”只有四道門(mén),而辛頓等人則把它擴建到了有八道門(mén)。而65萬(wàn)個(gè)神經(jīng)元,就像魔宮中的群魔一樣,守在各道門(mén)后。早在數十年前,塞弗里奇就預言,只要參數設定得當,人們就可以順利地從圖形中提煉出其中的信息,就如同魔宮中的群魔在訓練之后,就可以提取人的靈魂一樣。不過(guò),在塞弗里奇那個(gè)時(shí)代,人們并沒(méi)有找到訓練這些魔鬼的魔法,因而并沒(méi)有人真正馴服群魔。而在這個(gè)時(shí)候,辛頓已經(jīng)掌握了“反向傳播算法”,利用這個(gè)“魔法”,他把魔宮中的群魔訓練成了強大的魔軍。在這支魔軍面前,之前被人們認為不可能完成的任務(wù)被輕而易舉地完成了。

從學(xué)科發(fā)展的角度看,AlexNet的成功無(wú)疑是具有里程碑意義的。它讓被人們忽視已久的神經(jīng)網(wǎng)絡(luò )重新被人們認識,連接主義在被符號主義壓制數十年之后,終于成為了人工智能發(fā)展的主流。對于辛頓個(gè)人,這一次成功也是一起非常重要的事件?,F在,他終于不再會(huì )遭人白眼,不再會(huì )被人視為三流學(xué)者,他的論文開(kāi)始被人爭相閱讀,引用量開(kāi)始成千上萬(wàn)。他,那個(gè)曾經(jīng)的小木匠,成了人工智能領(lǐng)域的英雄!

或許是出于憂(yōu)慮神經(jīng)網(wǎng)絡(luò )這個(gè)長(cháng)期被符號主義者污名化的詞不利于傳播,辛頓專(zhuān)門(mén)為他的研究改名叫深度學(xué)習——即用深度神經(jīng)網(wǎng)絡(luò )進(jìn)行學(xué)習之意也。而由于對深度學(xué)習這個(gè)領(lǐng)域的貢獻,他本人就被冠上了“深度學(xué)習之父”的名號。

學(xué)術(shù)的反向傳播

AlexNet的大獲成功讓人們看到了深度學(xué)習的巨大潛力。由此,大量的人才開(kāi)始涌入這個(gè)領(lǐng)域,大量的資本也開(kāi)始對其追捧。在這些要素的推動(dòng)之下,神經(jīng)網(wǎng)絡(luò )這個(gè)被壓抑了幾十年的研究領(lǐng)域迎來(lái)了前所未有的爆發(fā)。從Al-phaGO(阿爾法圍棋)戰勝人類(lèi)圍棋高手,到AlphaFold(阿爾法折疊)預測上億的蛋白質(zhì)組合,再到ChatGPT(人工智能聊天機器人)的橫空出世,神經(jīng)網(wǎng)絡(luò )不斷地向人們證明了自己的實(shí)力?,F在,神經(jīng)網(wǎng)絡(luò )這個(gè)工具的用途早已超越了圖形識別,而幾乎被用在了各行各業(yè)。

對于連接主義的信奉者而言,這一切當然是非常值得欣慰的。不過(guò),在巨大的成功背后,還有一個(gè)棘手的問(wèn)題有待回答:現在的神經(jīng)網(wǎng)絡(luò )究竟在多大程度上和人腦的神經(jīng)系統具有相似性?

現在神經(jīng)網(wǎng)絡(luò )技術(shù)之所以可以被普遍應用,反向傳播算法起到了非常關(guān)鍵的作用。但正如我們所見(jiàn),這個(gè)算法的靈感是來(lái)自數學(xué)而非腦科學(xué)。那么,在大腦當中,是否也存在著(zhù)類(lèi)似的機制呢?長(cháng)期以來(lái),即使是最堅定的連接主義者都對此表示了懷疑,甚至連其發(fā)明人辛頓都曾考慮過(guò)是否應該放棄這個(gè)算法。

直到2020年,這個(gè)問(wèn)題才終于有了一個(gè)相對明確的答案。那年的《自然評論:神經(jīng)科學(xué)》雜志發(fā)表了一篇題為《反向傳播和大腦》(BackpropagationandtheBrain)的論文。論文指出,大腦在學(xué)習的過(guò)程中,確實(shí)會(huì )對神經(jīng)元之間的突觸進(jìn)行調節。大腦在調整的過(guò)程中,會(huì )根據目標和活動(dòng)結果的差異來(lái)對錯誤進(jìn)行編碼,并以此指導突觸權重的變化。這一切,就好像人們在練習打球時(shí),如果發(fā)現球飛得高了,下一次就會(huì )自動(dòng)降低發(fā)球的角度和力度,讓其更低一些;而如果發(fā)現球飛得低了,則會(huì )增加發(fā)球的角度和力度,讓它更高一些一樣——只不過(guò),所有的這一切都是在神經(jīng)元的層面上進(jìn)行的,并且會(huì )通過(guò)突觸在不同神經(jīng)元之間傳播進(jìn)行。

這種機制幾乎是和人工智能領(lǐng)域的反向傳播算法如出一轍。更確切地說(shuō),這種算法原本就存在于大腦的神經(jīng)系統當中,只不過(guò)原先神經(jīng)科學(xué)家們并沒(méi)有注意到這個(gè)機制,而人工智能專(zhuān)家們的成果則反過(guò)來(lái)啟發(fā)人們重新認識了它。

值得一提的是,作為反向傳播算法的發(fā)現者,辛頓也是這篇論文的作者之一??v觀(guān)辛頓的學(xué)術(shù)生涯,他原本感興趣的是腦科學(xué),但卻陰差陽(yáng)錯地從人工智能出發(fā),再反過(guò)來(lái)探索人腦的奧秘,這又何嘗不是一種學(xué)術(shù)上的反向傳播呢?

從永生回到凡人

從麥卡洛克和皮茨合作提出M-P模型,到“深度學(xué)習革命”如今的如火如荼,神經(jīng)科學(xué)學(xué)科已經(jīng)為人工智能學(xué)科做出了相當的貢獻。那么,在未來(lái),神經(jīng)科學(xué)學(xué)科還可以繼續給人工智能學(xué)科提供更多的靈感和啟發(fā)嗎?答案當然是肯定的。事實(shí)上,盡管現在的人工智能在很多方面已經(jīng)超越了人腦,但在其他的不少方面,人腦依然有著(zhù)更為優(yōu)越的表現。比如,在記憶、直覺(jué)、情感生成等方面,人腦的表現都遠非人工智能可比。從這個(gè)意義上看,人工智能可以向人腦學(xué)習的地方還有很多。

在人腦的眾多優(yōu)勢當中,最為突出的一點(diǎn)是它在學(xué)習的效率上要比人造的神經(jīng)網(wǎng)絡(luò )高出很多?,F在,人們雖然可以訓練出參數量巨大的人工智能,其中一些的參數量甚至已經(jīng)超過(guò)了人腦神經(jīng)元的數量,但這么做的代價(jià)卻是巨大的。比如,在訓練GPT(生成預訓練變換器)模型時(shí),OpenAI(開(kāi)放人工智能公司)就動(dòng)用了上萬(wàn)張顯卡,訓練一次的耗電就高達上千兆瓦時(shí)。而相比之下,人腦在學(xué)習時(shí)消耗的能量卻非常少。那么,人腦究竟是如何做到這一點(diǎn)的?人工智能是否可以模仿人腦做到這一點(diǎn)?圍繞著(zhù)這兩個(gè)問(wèn)題,一個(gè)被稱(chēng)為“類(lèi)腦計算”的全新領(lǐng)域正在蓬勃發(fā)展。

在類(lèi)腦計算的各個(gè)技術(shù)路線(xiàn)中,由辛頓提出的“凡人計算”(MortalComputation)是一個(gè)非常值得關(guān)注的方向。這個(gè)思想來(lái)自一個(gè)非常重要的觀(guān)察,即大腦的運作并非只是單純的神經(jīng)元之間的信息傳遞,它是和其大腦的物理基礎緊密相關(guān)的。換言之,大腦本身就是一個(gè)軟硬件一體化的機器,它的軟件,即思想不能脫離其硬件存在,如果大腦毀滅了,思維活動(dòng)也就隨之停止了。相比之下,人造的神經(jīng)網(wǎng)絡(luò )則是建筑在經(jīng)典的馮·諾伊曼架構上的,它產(chǎn)生的信息可以脫離硬件存在的,可以從一臺機器轉移到另一臺機器,因而可以說(shuō)是一種“永生運算”(ImmortalComputation)。聽(tīng)起來(lái),“永生運算”要比“凡人運算”有吸引力得多,但其代價(jià)就是,它會(huì )需要消耗更多的能量,因為在永生運算中,信息需要不斷在存儲介質(zhì)上進(jìn)行寫(xiě)入和擦除,由此將會(huì )產(chǎn)生巨大的能量消耗。如果由此產(chǎn)生的成本超過(guò)了硬件成本,那么永生運算在效率上看就不如凡人運算?;谶@一認識,辛頓建議未來(lái)的人們在構建神經(jīng)網(wǎng)絡(luò )時(shí),可以考慮同時(shí)仿照人腦,開(kāi)發(fā)更適合它們的一次性硬件。雖然這會(huì )讓運算失去永生,但考慮到它能節約巨大的能耗,那么這一切依然是值得的。

幾十年前,當皮茨剛剛拜入維納門(mén)下時(shí),維納曾和馮·諾伊曼(JohnvonNeumann)聊起他這位新弟子創(chuàng )造的M-P模型。一開(kāi)始,馮·諾伊曼覺(jué)得這個(gè)模型很有意思,覺(jué)得它潛力巨大。但隨后,他又對維納表示了憂(yōu)慮。他擔心一旦人們過(guò)于將注意力放在神經(jīng)元的運作問(wèn)題,對大腦物理結構的關(guān)注就可能隨之減少,可能讓人們忽視了真正重要的東西。當我們重新回看馮·諾伊曼的這段評論,就不得不感嘆他的敏銳?,F在,神經(jīng)網(wǎng)絡(luò )的研究已經(jīng)證明了其價(jià)值,以后相關(guān)科學(xué)研究的重點(diǎn)可能要重新回到對大腦物理結構的認知上來(lái)了。

結語(yǔ)

回顧人工智能數十年的發(fā)展史,我們不難發(fā)現,它的成功很大程度上來(lái)自不同學(xué)科之間的相互啟迪和相互激發(fā)。只有當神經(jīng)科學(xué)、數學(xué)、物理學(xué)、工程學(xué)這些學(xué)科之間彼此合作時(shí),人工智能才能得到迅速的發(fā)展。而當學(xué)者們出于門(mén)派之見(jiàn)彼此隔絕,甚至彼此攻擊時(shí),學(xué)科的發(fā)展速度就會(huì )減慢。從這個(gè)意義上講,雖然現在連接主義已經(jīng)成為了人工智能領(lǐng)域絕對的主導思想,但如果研究者們能夠抽空讀讀西蒙(HerbertSimon)、紐厄爾(AllenNewell)等符號主義大師的作品,那他們也一定可以從中找到有益的啟發(fā)。

傳說(shuō)中,神由于害怕人們合力造出能夠通向天庭的巴別塔,所以施法變亂了他們的語(yǔ)言,讓他們難以交流?,F在的研究者為了突破科學(xué)的邊界,就必須齊心協(xié)力,人為地制造隔閡,是無(wú)益于科學(xué),也無(wú)益于自己的。

 

版權聲明:以上內容為《經(jīng)濟觀(guān)察報》社原創(chuàng )作品,版權歸《經(jīng)濟觀(guān)察報》社所有。未經(jīng)《經(jīng)濟觀(guān)察報》社授權,嚴禁轉載或鏡像,否則將依法追究相關(guān)行為主體的法律責任。版權合作請致電:【010-60910566-1260】。

熱新聞