這幾年的深度學(xué)習(xí)熱度已經(jīng)算不上新聞了。但真正把“深度學(xué)習(xí)”這四個(gè)字講清楚的文字反而不多。很多人知道神經(jīng)網(wǎng)絡(luò)厲害卻不知道它經(jīng)歷了三次起起落落才走到今天知道訓(xùn)練要大算力、大數(shù)據(jù)卻不知道這三者跟算法是如何互相掐架又互相托底的也知道深度學(xué)習(xí)是“受大腦啟發(fā)”卻不清楚它跟神經(jīng)科學(xué)之間到底誰(shuí)欠了誰(shuí)的中間鬧過(guò)多少誤會(huì)。上篇聊了深度學(xué)習(xí)的源流從早期神經(jīng)元模型一直講到聯(lián)結(jié)主義學(xué)派如何被邊緣化。這篇咱們接著把這攤子事兒往后捋重點(diǎn)拆三個(gè)東西三次浪潮是怎么一浪接一浪的三大驅(qū)動(dòng)力缺了誰(shuí)都不行以及深度學(xué)習(xí)跟神經(jīng)科學(xué)之間那點(diǎn)“效仿、叛逃、又暗通款曲”的恩怨。適合兩類(lèi)人看一是想系統(tǒng)梳理深度學(xué)習(xí)來(lái)龍去脈的非算法從業(yè)者二是學(xué)了很多工程細(xì)節(jié)但不太了解歷史背景的開(kāi)發(fā)者和研究者。理解歷史不是考古它直接決定你現(xiàn)在做的很多取舍到底站不站得住腳。1. 三次浪潮深度學(xué)習(xí)不是一夜爆紅而是起落三輪1.1 第一波浪潮神經(jīng)元模型的“過(guò)度自信”早在上世紀(jì)中葉就有研究者從腦科學(xué)的角度提出了“神經(jīng)元計(jì)算”的概念。后來(lái)另一位學(xué)者拿電子線路模擬了單個(gè)神經(jīng)元的輸入輸出關(guān)系做成了歷史上第一個(gè)可學(xué)習(xí)的模型——感知機(jī)。這個(gè)東西現(xiàn)在看很簡(jiǎn)單輸入加權(quán)求和經(jīng)過(guò)一個(gè)閾值判斷輸出0或1。但它啟發(fā)了一個(gè)極其重要的思考方式也許智能不需要被編寫(xiě)成規(guī)則而是可以通過(guò)調(diào)整“權(quán)重”自動(dòng)從數(shù)據(jù)里學(xué)出來(lái)。當(dāng)時(shí)學(xué)界有多樂(lè)觀呢某位開(kāi)創(chuàng)者直接在公開(kāi)場(chǎng)合說(shuō)過(guò)類(lèi)似“用不了多少年就能制造出真正的機(jī)器大腦”的話。你聽(tīng)這個(gè)口氣就知道第一次浪潮為什么很快就撞了墻。感知機(jī)能解決的只是線性可分問(wèn)題一個(gè)最簡(jiǎn)單但最致命的異或邏輯它就怎么都學(xué)不會(huì)。后來(lái)的教科書(shū)都喜歡把這筆賬記在“異或”頭上實(shí)際上更深層的原因是單層模型表達(dá)能力有限而當(dāng)時(shí)根本沒(méi)有算力去支撐多層模型的訓(xùn)練試探。到六十年代末一篇質(zhì)疑性的理論文章發(fā)表后美國(guó)聯(lián)幫科研經(jīng)費(fèi)迅速?gòu)纳窠?jīng)網(wǎng)絡(luò)撤走第一波浪潮基本是“被撥冷水潑滅的”。1.2 第二波浪潮反向傳播帶來(lái)的“短暫復(fù)興”如果說(shuō)第一波浪潮是“結(jié)構(gòu)太簡(jiǎn)單”那么第二波浪潮的核心突破就是把“多層”訓(xùn)練重新拉回舞臺(tái)中央。八十年代一種通過(guò)鏈?zhǔn)角髮?dǎo)反向逐層調(diào)整權(quán)重的算法——誤差反向傳播被多位研究者獨(dú)立重提并帶入實(shí)際操作中。從此神經(jīng)網(wǎng)絡(luò)可以擁有隱含層可以擬合非線性函數(shù)。這在做模式識(shí)別的人眼里簡(jiǎn)直是“學(xué)習(xí)機(jī)器”重新有了生命。但第二波浪潮的生命周期很短原因也很現(xiàn)實(shí)。反向傳播說(shuō)起來(lái)漂亮真正訓(xùn)練一個(gè)稍微深一點(diǎn)的網(wǎng)絡(luò)在當(dāng)時(shí)的工作站上要跑幾天甚至幾個(gè)星期。數(shù)據(jù)量不夠沒(méi)有GPU用的都是讓神經(jīng)網(wǎng)絡(luò)連一些小規(guī)模的字母識(shí)別都磕磕絆絆。與此同時(shí)基于核方法的分類(lèi)器就是后來(lái)在統(tǒng)計(jì)學(xué)習(xí)里非常風(fēng)光的某類(lèi)方法在多個(gè)任務(wù)上表現(xiàn)更好而且有深厚的數(shù)學(xué)理論撐腰。那幾年神經(jīng)網(wǎng)絡(luò)的研究者出去申請(qǐng)基金評(píng)審人幾乎默認(rèn)這類(lèi)工作是“過(guò)氣把戲”。很多研究者怕影響畢業(yè)和晉升悄悄把論文標(biāo)題里的“神經(jīng)網(wǎng)絡(luò)”改成了“聯(lián)結(jié)系統(tǒng)”或者干脆轉(zhuǎn)向其他方向。1.3 第三波浪潮這一回是“規(guī)?；钡膭倮谌ǔ鳖^真正卷上來(lái)大約是在二十一世紀(jì)第一個(gè)十年之后。這波浪潮跟前兩波最不一樣的地方在于它沒(méi)有提出完全顛覆性的學(xué)習(xí)范式而是把前兩波積累的BP、CNN、RNN等老概念拿更大算力、更大數(shù)據(jù)量、更好的工程技巧重新“喂”了一遍。結(jié)果在某個(gè)大型圖像識(shí)別競(jìng)賽上一個(gè)深度卷積網(wǎng)絡(luò)把錯(cuò)誤率降掉了將近一半震撼了整個(gè)計(jì)算機(jī)視覺(jué)圈子。從此深度學(xué)習(xí)全面覆蓋語(yǔ)音識(shí)別、自然語(yǔ)言處理、自動(dòng)駕駛、蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)一路滾到今天的大模型。所以有人總結(jié)說(shuō)第三次浪潮本質(zhì)上不是“理論革命”而是“規(guī)模革命”。前兩波都是在實(shí)驗(yàn)室里“小打小鬧”第三波則是把實(shí)驗(yàn)室的東西搬到了工廠的流水線上用海量數(shù)據(jù)和并行計(jì)算把模型“撐”了起來(lái)。這也解釋了為什么神經(jīng)網(wǎng)絡(luò)總是“越深越好”——當(dāng)然不是無(wú)限深但足夠深的網(wǎng)絡(luò)配合足夠多的數(shù)據(jù)確實(shí)能學(xué)到人類(lèi)難以手工設(shè)計(jì)的弱特征。2. 三大驅(qū)動(dòng)力算力、數(shù)據(jù)與算法的“合謀”2.1 算力從CPU到GPU再到專(zhuān)用芯片把算力放在最前面不是因?yàn)樗葦?shù)據(jù)和算法高級(jí)而是因?yàn)樗恰翱c(diǎn)”卡得最明顯的一個(gè)。早期訓(xùn)練一個(gè)兩層的感知機(jī)用CPU模擬幾百次迭代還能忍可一旦網(wǎng)絡(luò)層數(shù)超過(guò)五六層權(quán)重?cái)?shù)量上百萬(wàn)反向傳播里每一步都要做矩陣乘CPU串行計(jì)算根本扛不住。到第二波浪潮后期有些研究者已經(jīng)意識(shí)到“深度學(xué)習(xí)在數(shù)學(xué)上沒(méi)什么問(wèn)題就是算力跑不動(dòng)”。后來(lái)圖形處理器GPU被開(kāi)發(fā)者偶然發(fā)現(xiàn)特別適合做矩陣運(yùn)算。GPU是設(shè)計(jì)來(lái)并行處理像素的每個(gè)核心雖然弱但架不住數(shù)量多矩陣乘法的每個(gè)元素剛好可以分給不同核心同時(shí)算。這一下就把神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間從“周”縮短到了“天”再到“小時(shí)”。再往后某科技巨頭研發(fā)了專(zhuān)用AI芯片進(jìn)一步把矩陣運(yùn)算固化到硅片上訓(xùn)練規(guī)模才得以指數(shù)級(jí)擴(kuò)張。你看今天大模型訓(xùn)練動(dòng)輒幾千張加速卡互聯(lián)就是這個(gè)邏輯的極致化。2.2 數(shù)據(jù)從人工收集到互聯(lián)網(wǎng)海量數(shù)據(jù)算法再?gòu)?qiáng)算力再猛沒(méi)有數(shù)據(jù)等于沒(méi)米下鍋。深度學(xué)習(xí)比傳統(tǒng)機(jī)器學(xué)習(xí)更“貪吃”因?yàn)樗奶卣鞑皇侨嗽O(shè)計(jì)出來(lái)的而是要網(wǎng)絡(luò)自己從大量樣本里統(tǒng)計(jì)出來(lái)。這意味著樣本數(shù)量不光要多還要能覆蓋足夠多變的模式?；ヂ?lián)網(wǎng)時(shí)代給數(shù)據(jù)提供了兩個(gè)便利一是數(shù)據(jù)總量變大了二是數(shù)據(jù)可以被低成本采集、清洗、打標(biāo)。早期做手寫(xiě)數(shù)字識(shí)別研究者為了湊幾千個(gè)樣本還得找郵局要信件信封到了圖像識(shí)別競(jìng)賽時(shí)代大規(guī)模數(shù)據(jù)集里的圖片數(shù)量直接到了百萬(wàn)級(jí)。有了這個(gè)量級(jí)的數(shù)據(jù)深層的卷積網(wǎng)絡(luò)才能從底層邊緣紋理逐級(jí)組合出高級(jí)語(yǔ)義。甚至有研究顯示某個(gè)領(lǐng)域的神經(jīng)網(wǎng)絡(luò)性能隨數(shù)據(jù)量增加而持續(xù)提升并沒(méi)有明顯飽和點(diǎn)。這就鼓勵(lì)后續(xù)的大模型繼續(xù)堆數(shù)據(jù)、堆參數(shù)。2.3 算法從反向傳播到注意力機(jī)制算力和數(shù)據(jù)是“肌肉”和“食物”算法是把它們組織起來(lái)的那套神經(jīng)指揮系統(tǒng)。反向傳播是基礎(chǔ)但它在深層網(wǎng)絡(luò)上有兩個(gè)致命弱點(diǎn)一是梯度會(huì)逐層衰減接近輸入層的權(quán)重幾乎沒(méi)信號(hào)更新二是梯度容易爆炸參數(shù)亂跳直接讓訓(xùn)練發(fā)散。于是后續(xù)二十年里算法研究者干的主要事情就是“給梯度修路”。修路的手段包括把激活函數(shù)換成整流線性單元ReLU來(lái)緩解梯度消失加批量歸一化讓每層輸入的分布穩(wěn)定下來(lái)加殘差連接讓信息能跳過(guò)若干層直接向前傳給淺層用隨機(jī)失活Dropout降低過(guò)擬合。這些技巧單獨(dú)來(lái)看都很樸素但組合在一起就把“能不能訓(xùn)練出幾十層網(wǎng)絡(luò)”這個(gè)問(wèn)題給解決了。再往后到了自然語(yǔ)言處理領(lǐng)域自注意力機(jī)制也就是多頭注意力徹底取代了循環(huán)結(jié)構(gòu)的時(shí)序建模方式讓網(wǎng)絡(luò)并行處理全部位置并顯式捕捉長(zhǎng)距離依賴(lài)于是橫掃一切的Transformer架構(gòu)登上舞臺(tái)。2.4 三角循環(huán)先有雞還是先有蛋很多人喜歡問(wèn)深度學(xué)習(xí)能火到底哪個(gè)驅(qū)動(dòng)力最重要。我的看法是它們是一個(gè)互相鎖死的循環(huán)。有算法創(chuàng)新但算力不夠只能當(dāng)玩具有算力但數(shù)據(jù)太少模型照樣過(guò)擬合有數(shù)據(jù)、有算力但算法效率太差訓(xùn)練成本貴到讓人放棄。舉個(gè)例子反向傳播八十年代就重新提出來(lái)了但一直到2010年左右才展現(xiàn)出碾壓性?xún)?yōu)勢(shì)中間缺的就是算力和數(shù)據(jù)的“填滿(mǎn)”。反過(guò)來(lái)說(shuō)如果當(dāng)年沒(méi)有GPU這個(gè)外掛硬件即便有一百個(gè)大數(shù)據(jù)集靠CPU訓(xùn)練一個(gè)現(xiàn)代級(jí)卷積網(wǎng)絡(luò)時(shí)間會(huì)漫長(zhǎng)到普通人根本沒(méi)有耐心的地步。所以不要崇拜某一個(gè)單一因素研究深度學(xué)習(xí)的歷史你看到的往往是一個(gè)“原本低效的算法在社會(huì)基礎(chǔ)設(shè)施全面進(jìn)步后終于跑通了”的故事。3. 與神經(jīng)科學(xué)的“恩怨”借鑒與背離3.1 早期深度學(xué)習(xí)如何從大腦中“抄作業(yè)”深度學(xué)習(xí)這一脈的早期研究者大多有神經(jīng)科學(xué)或心理學(xué)的學(xué)術(shù)背景。感知機(jī)的提出者就承認(rèn)靈感來(lái)自神經(jīng)元的“全有或全無(wú)”反應(yīng)。到了卷積神經(jīng)網(wǎng)絡(luò)誕生借鑒大腦視覺(jué)皮層的細(xì)節(jié)就更明顯了視覺(jué)皮層里的簡(jiǎn)單細(xì)胞對(duì)局部邊緣方向敏感復(fù)雜細(xì)胞則對(duì)這些邊緣響應(yīng)做空間聚合。于是研究者設(shè)計(jì)了卷積層里的局部感受野只讓每個(gè)神經(jīng)元觀察圖像的一部分再把多個(gè)局部抽取結(jié)果共享同一組權(quán)重。這種“局部連接 權(quán)值共享”的設(shè)計(jì)可以說(shuō)就是把生物視覺(jué)系統(tǒng)的公式偷了出來(lái)。后來(lái)神經(jīng)科學(xué)發(fā)現(xiàn)的層級(jí)視覺(jué)處理也被用在網(wǎng)絡(luò)結(jié)構(gòu)上腹側(cè)視覺(jué)通路從視網(wǎng)膜到初級(jí)視覺(jué)皮層再到顳葉逐級(jí)從邊緣、形狀、物體遞進(jìn)。深度卷積網(wǎng)絡(luò)也分層提取特征淺層識(shí)別線條和角點(diǎn)中層識(shí)別輪廓和局部模式深層識(shí)別整車(chē)或人臉。這種結(jié)構(gòu)相似性不是巧合是深度學(xué)習(xí)早期從大腦那里借來(lái)的骨架。3.2 反向傳播其實(shí)是“偽生物機(jī)制”但到了反向傳播事情開(kāi)始擰巴。深度學(xué)習(xí)工程上最依賴(lài)的權(quán)重更新方法在生物學(xué)上一直沒(méi)能得到令人滿(mǎn)意的對(duì)應(yīng)解釋。反向傳播要求誤差信號(hào)從輸出層一層層傳回去并且每一層都要精確計(jì)算梯度這需要網(wǎng)絡(luò)在腦內(nèi)維護(hù)一個(gè)“反向的”連接來(lái)傳遞誤差?？纱竽X皮層的連接方向基本都是正向的沒(méi)有證據(jù)支持存在一套跟正向通路同樣精確的反饋通路。這一點(diǎn)在神經(jīng)科學(xué)圈里被質(zhì)疑了很多年甚至有學(xué)者直接說(shuō)“大腦不可能做反向傳播”。更有意思的是這個(gè)質(zhì)疑不僅沒(méi)打倒深度學(xué)習(xí)反而讓一部分研究者徹底看開(kāi)了我們不是要模擬大腦只是在尋找一個(gè)有效的數(shù)學(xué)優(yōu)化方法。于是“聯(lián)結(jié)主義”和“類(lèi)腦計(jì)算”走向分岔。有的研究者專(zhuān)注把網(wǎng)絡(luò)做得更貼近大腦比如脈沖神經(jīng)網(wǎng)絡(luò)更多研究者則徹底拋棄生物合理性轉(zhuǎn)向純粹工程調(diào)優(yōu)。這種“背離”反而釋放了深度學(xué)習(xí)的想象力使它不必被生物學(xué)細(xì)節(jié)綁住手腳。3.3 神經(jīng)科學(xué)反過(guò)來(lái)向深度學(xué)習(xí)“抄”正當(dāng)兩者分道揚(yáng)鑣之際轉(zhuǎn)折又來(lái)了。深度學(xué)習(xí)大獲成功后一些計(jì)算神經(jīng)科學(xué)家嘗試用深度神經(jīng)網(wǎng)絡(luò)模型來(lái)預(yù)測(cè)大腦視覺(jué)皮層對(duì)不同圖像的激活響應(yīng)。結(jié)果出乎意料地好卷積神經(jīng)網(wǎng)絡(luò)中層深度特征和目標(biāo)神經(jīng)元實(shí)際發(fā)放率之間的相關(guān)系數(shù)高到令人驚訝。一個(gè)完全從工程任務(wù)里訓(xùn)練出來(lái)的網(wǎng)絡(luò)居然接近了生物學(xué)視覺(jué)系統(tǒng)內(nèi)部特征的某些性質(zhì)。這說(shuō)明什么說(shuō)明大腦視覺(jué)皮層和深度卷積網(wǎng)絡(luò)可能共享某種基于“層級(jí)特征抽象”的通用計(jì)算原則——大腦不一定用反向傳播來(lái)學(xué)習(xí)但在表征特性上兩者確實(shí)存在趨同。于是一部分神經(jīng)科學(xué)家也不得不開(kāi)始把深度學(xué)習(xí)當(dāng)作“推理工具”來(lái)研究大腦而不是僅僅把它當(dāng)成“不切實(shí)際的模型”。3.4 注意力機(jī)制的趨同演化再到后面的注意力機(jī)制那才叫“眾說(shuō)紛紜”。Transformer里的注意力把輸入序列拆解為查詢(xún)、鍵、值三個(gè)向量然后通過(guò)點(diǎn)積計(jì)算不同位置之間的關(guān)聯(lián)強(qiáng)度。這個(gè)設(shè)計(jì)和認(rèn)知心理學(xué)里的“選擇性注意力”有著直觀的呼應(yīng)大腦在處理復(fù)雜場(chǎng)景時(shí)本來(lái)就不是均衡加工所有信息而是會(huì)選重點(diǎn)。但這種類(lèi)似更多是“趨同演化”而不是“基因遺傳”。注意力機(jī)制的提出最初是為了解決機(jī)器翻譯中長(zhǎng)句對(duì)齊和建模距離遠(yuǎn)的問(wèn)題并沒(méi)有太多神經(jīng)科學(xué)實(shí)驗(yàn)數(shù)據(jù)的支撐。它是一次工程需求驅(qū)動(dòng)的創(chuàng)新后來(lái)卻反過(guò)來(lái)啟發(fā)了一些認(rèn)知模型的改進(jìn)。所以硬要把深度學(xué)習(xí)的每一塊磚都跟神經(jīng)科學(xué)對(duì)號(hào)入座是很傻的事。兩者更像是同一片“智能”主題下的兩種解法有時(shí)互相借鑒有時(shí)各自獨(dú)立最后居然在抽象層面看起來(lái)遙相呼應(yīng)。4. 三次浪潮中的“斷流期”都在等什么4.1 第一次低谷不是異或一錘定音而是“生存環(huán)境”沒(méi)到傳統(tǒng)教科書(shū)喜歡把第一次低谷歸結(jié)為明斯基等人對(duì)感知機(jī)局限性的證明但我覺(jué)得這個(gè)歸因過(guò)于簡(jiǎn)化了。理論上的否定當(dāng)然重要可即便沒(méi)有那篇攻擊性文章第一波浪潮也會(huì)因?yàn)樽陨砥款i很快達(dá)到天花板單層感知機(jī)表達(dá)能力有限而多層模型又缺乏有效訓(xùn)練算法和計(jì)算資源。更重要的是當(dāng)時(shí)社會(huì)對(duì)AI的期待被媒體吹得太高期刊審稿人已經(jīng)對(duì)“感知機(jī)類(lèi)工作”產(chǎn)生了倦怠。說(shuō)白了這就是一個(gè)技術(shù)產(chǎn)品在過(guò)度炒作之后必然會(huì)出現(xiàn)的幻滅期。所謂“斷流”本質(zhì)上不是世界沒(méi)有神經(jīng)元而是周?chē)狈ψ銐虻碾娏?、?shù)據(jù)、人才和資金把它接過(guò)來(lái)。4.2 第二次低谷核方法這位“別人家的學(xué)霸”出現(xiàn)神經(jīng)網(wǎng)絡(luò)不香了第二次斷流的原因其實(shí)比第一次更讓人傷感。八十年代末BP算法帶來(lái)的復(fù)興本來(lái)已經(jīng)成氣候了但隨后核方法作為一種新的機(jī)器學(xué)習(xí)范式全面崛起。它數(shù)學(xué)推導(dǎo)優(yōu)美可以處理非線性分類(lèi)/回歸在中小規(guī)模數(shù)據(jù)上表現(xiàn)穩(wěn)定而且沒(méi)有局部最優(yōu)的擔(dān)心。反觀神經(jīng)網(wǎng)絡(luò)訓(xùn)練需要大量調(diào)試結(jié)果還不一定比得上別人隨手調(diào)好的核方法。學(xué)術(shù)界是最現(xiàn)實(shí)的。資助機(jī)構(gòu)開(kāi)始把錢(qián)投向“有嚴(yán)格理論”的方向神經(jīng)網(wǎng)絡(luò)領(lǐng)域相形見(jiàn)絀只能縮在一小撮堅(jiān)持者手里?，F(xiàn)在回頭看那一時(shí)期的主要技術(shù)進(jìn)展——卷積網(wǎng)絡(luò)結(jié)構(gòu)、長(zhǎng)短期記憶網(wǎng)絡(luò)、深度信念網(wǎng)絡(luò)其實(shí)都是在“主流不看好的冬天”里悄悄長(zhǎng)出來(lái)的。這也提醒我們當(dāng)一個(gè)方向看起來(lái)最冷冷清清的時(shí)候往往也就是下一波浪潮儲(chǔ)備能量的階段。4.3 第三次浪潮會(huì)不會(huì)也有觸頂?shù)囊惶彀岩暯抢浇裉斓谌卫顺币膊皇菦](méi)有隱患。大模型參數(shù)越來(lái)越多訓(xùn)練一次燒掉的能量越來(lái)越大數(shù)據(jù)標(biāo)注慢慢耗盡只能用自監(jiān)督或合成數(shù)據(jù)續(xù)命模型內(nèi)部的不可解釋性讓它在醫(yī)療、金融等高風(fēng)險(xiǎn)場(chǎng)景難以上手。很多人已經(jīng)在討論“涌現(xiàn)能力到底是真能力還是數(shù)據(jù)幻覺(jué)”也有人在思考新一代算法能不能擺脫預(yù)訓(xùn)練微調(diào)這一整套框架。我的判斷是浪潮不會(huì)退成前兩次那種“徹底沉寂”但增量紅利確實(shí)在變薄。下一次變局很可能是某個(gè)不起眼的算法創(chuàng)新再次跟巨大的算力和數(shù)據(jù)一拍即合。就像2012年那個(gè)由圖像競(jìng)賽引爆的時(shí)刻一樣誰(shuí)都沒(méi)想到最核心的驅(qū)動(dòng)其實(shí)是幾塊GPU加速卡。5. 一些踩過(guò)坑之后的經(jīng)驗(yàn)之談寫(xiě)到這里順帶聊點(diǎn)我個(gè)人的體會(huì)。我一開(kāi)始學(xué)深度學(xué)習(xí)是奔著“它模擬了大腦”去的。后來(lái)讀了神經(jīng)科學(xué)的一些資料發(fā)現(xiàn)模擬大腦的說(shuō)法太浪漫了很多細(xì)節(jié)根本對(duì)不上號(hào)。這個(gè)落差其實(shí)挺大的。后來(lái)工作了幾年參與過(guò)一些視覺(jué)模型訓(xùn)練才慢慢把心態(tài)擺正深度學(xué)習(xí)和神經(jīng)科學(xué)更像是“兄弟學(xué)科”不是一個(gè)復(fù)制另一個(gè)。你拿深度網(wǎng)絡(luò)做工程不要?jiǎng)虞m宣稱(chēng)自己的模型“像人腦”你做神經(jīng)科學(xué)也不必強(qiáng)迫大腦必須按深度學(xué)習(xí)的邏輯運(yùn)轉(zhuǎn)。兩邊真正該干的事兒是把彼此的合理成分摘出來(lái)互相檢驗(yàn)而不是互相攀親戚或者互相拆臺(tái)。還有一個(gè)小忠告學(xué)習(xí)深度學(xué)習(xí)的歷史別把“時(shí)間點(diǎn)”記錯(cuò)當(dāng)成小事。比如反向傳播思想在幾十年前早就有了但因?yàn)樗懔Σ坏轿灰恢睕](méi)火起來(lái)。如果你只知道“2012年深度學(xué)習(xí)爆發(fā)”卻不知道之前兩次斷流你可能會(huì)錯(cuò)誤地認(rèn)為只要我把模型做深做大數(shù)據(jù)就一定能成功。其實(shí)成功的條件遠(yuǎn)比這復(fù)雜需要在算法、算力、數(shù)據(jù)、甚至社會(huì)情緒四個(gè)維度上同時(shí)站對(duì)位置。最后再分享一個(gè)實(shí)操層面的觀察現(xiàn)在很多人做模型遇到效果不好就瘋狂調(diào)參。其實(shí)如果研究一下深度學(xué)習(xí)的前兩次低谷你會(huì)發(fā)現(xiàn)很多時(shí)候不是參數(shù)問(wèn)題而是“當(dāng)前基礎(chǔ)是否配得上你的模型復(fù)雜度”。深度學(xué)習(xí)不是無(wú)中生有它更像一棵樹(shù)三次浪潮就是三次施肥但根一直扎在那些看似過(guò)時(shí)的網(wǎng)絡(luò)結(jié)構(gòu)里。理解這一點(diǎn)你看很多技術(shù)新聞的態(tài)度都會(huì)不一樣熱鬧是周期根子才是真。