雷鋒網 (公眾號：雷鋒網) AI科技評論按：人類某些神經元的樹突，可以執行之前認為需要整個神經網絡才能完成的邏輯運算。

目前對于計算機科學家來講，人工神經網絡構建，往往基于這樣一個概念：神經元是一個簡單的、非智能的開關，神經網絡的信息處理來源于數萬（數萬億）個神經元之間的連接。

然后神經科學家對于人腦的研究發現卻并不是如此。在神經科學的諸多研究中已經發現，人腦在信息計算上并不只有神經元連接在起作用，單個的神經元也同樣承擔著比以前人們想象中要重要得多的計算任務。

雷鋒網AI科技評論了解到，最近《Science》上發表了一篇論文 “Dendritic action potentials and computation in human layer 2/3 cortical neurons”。在這篇論文中，研究人員發現，皮質神經元樹突上的微小區室（tiny compartments in the dendritic arms of cortical neurons）可以執行特定的計算-“異或”。這個發現之所以重要，在于，一直以來數學理論家們都認為單個神經元是無法進行“異或”計算的；現在則不僅是單個神經元，甚至神經元的樹突上的部分都可以進行“異或”運算。

神經元并不單純只是為了連接，它們同樣能夠執行復雜運算，神經元本身可能也是一個多層網絡。這個發現對于構建人工神經網絡的計算機科學家們來講，或許會是一個非常重要的啟發。

啞神經元的局限性

在上世紀40年代和50年代，這樣一幅圖片開始在神經科學領域占主導地位：

• 啞神經元（“dumb” neuron），一個簡單的積分器，整個網絡中對輸入進行求和的點；

• 從神經元延伸出來的分支（稱為樹突）能夠從鄰近神經元接收成千上萬的信號，有些是興奮性信號，有些是抑制性信號；

• 在神經元細胞體上，所有的信號在這里進行加權和計數，如果總和超過某個閾值，則神經元會發出一系列的電脈沖（動作電位），這些電脈沖會直接刺激鄰近的神經元。

大約在同一時間，研究人員意識到，單個神經元可以起到邏輯門的作用，類似于數字電路中的邏輯門（盡管截止目前我們還不清楚大腦在處理信息，在多大程度上是這樣的）。例如，如果神經元僅在收到足夠數量的輸入后才觸發，實際上就是一個“與”門。

因此理論上，神經元網絡可以執行任何計算。

但顯然這種模型是存在局限性的。在這種模型中，神經元將坍縮為空間中的一個點，它沒有任何內部結構。另一方面這個模型也忽略了一個事實：流入給定神經元的數千個輸入是沿著不同的樹突進入神經元細胞體的，而這些樹突本身所起到的功能可能差異巨大，或者更為具體來說，這些樹突內部本身可能存在一些計算功能。

這種模型在80年代開始改變。

神經科學家Christof Koch等人通過建模（后來也得到了實驗的支持）表明，單個神經元內部不能表達為單個或統一的電壓信號；取而代之的是，電壓信號沿著樹突進入神經元胞體內時會降低，并且通常對細胞的最終輸出沒有任何貢獻。

信號的不一致性，意味著單個的樹突可能在彼此獨立地處理信息。這與先前的神經元假說是有矛盾的；在先前的神經元假說中，神經元只是簡單將所有東西加在一起。

這項工作促使了Koch以及耶魯大學醫學院的Gordon Shepherd等人開始對樹突結構進行建模。基本的思路就是，神經元不再只是充當一個簡單的邏輯門，而是一個復雜的多單元處理系統。

后來 Mel 等人進行了更加細致的研究，他們發現：1）樹突能夠產生局部尖峰；2）樹突具有自己的非線性輸入-輸出曲線；3）樹突有自己的激活閾值（這個閾值與神經元整體閾值不同）；4）樹突本身可以充當 AND 門或其他單元。

Mel等人認為，這意味著可以將單個的神經元構想為 two-layer 的神經網絡：樹突充當非線性計算子單元，收集輸入并吐出中間輸出；這些輸出信號將在細胞體中進行結合，然后決定整個神經元的反應。

當然，截止目前為止，我們還并不清楚樹突水平的活動，是否會影響神經元的放電以及鄰近神經元的活動。不過，不管如何，局部處理在整個神經元系統中的作用已經毋庸置疑。在計算能力上，神經元要比我們想象的強大很多。

神經學家Shepherd也曾表示：“皮層中進行處理的大部分功率實際上是低于閾值的。單個神經元系統可能并不僅僅只是一個加權求和的系統。”

從理論上來講，幾乎任何可以想象的計算都可以由一個具有足夠樹突的神經元來執行，每個樹突都能夠執行自己的非線性計算。

而前面提到的最近發表在《Science》上的論文中，研究人員將這一想法又向前推進了一步：他們認為，不僅僅是樹突本身，樹突中的微小區室也能夠獨立執行復雜計算。

意外尖峰與明斯基的不可能

本文作者Matthew Larkum 是一位洪堡德的神經科學家，他的研究團隊希望能夠從不同的問題角度來研究樹突。之前研究者主要在研究嚙齒類動物的樹突活動，因此他們希望能夠研究有大量且更長樹突的人類神經元中的電信號有什么不同。

他們從人類大腦皮層的第二層和第三層獲取了腦組織切片，人類大腦皮層包含了有許多樹突的特大神經元。當他們用電流來刺激這些樹突時，他們看到了意料之外且反復出現的尖峰，這些尖峰似乎與其他已知的神經信號完全不一樣。它們非常迅速而短暫，就如同動作電位一般，是由鈣離子的流動所引起的。這是值得注意的，因為傳統的動作電位通常是由鈉離子和鉀離子所引起的。并且，雖然此前已經在嚙齒動物的樹突狀中也觀察到了這種由鈣離子所誘發的信號，但是那些尖狀物的持續時間要長得多。

更奇怪的是，給樹突注入給多的電流刺激，反而會降低神經元放電的密集度，而非增加。為了搞清楚這種新的尖峰可能帶來什么影響，研究人員構建了一個能夠反映神經元行為的模型。?

該模型發現，輸入 X和輸入Y，如果只有輸入 X 或只有輸入Y，樹突會出現尖峰；而如果兩個輸入同時出現，就不會有尖峰。這相當于異或（或XOR）的非線性計算。

這一發現在計算機領域產生了轟動。多年來，他們都認為 XOR 函數不可能出現在單個神經元中，著名的計算機科學家Marvin Minsky 和Seymour Papert在他們于1969 年合著的《Perceptrons》一書中，還對單層人工網絡無法執行 XOR 進行了論證。這一結論具有毀滅性的影響，以至于很多計算機科學家都將20世紀80年代之前神經網絡研究陷入低迷狀態，歸咎于這一結論。

神經網絡研究者最終找到了避開Minsky 和 Papert所提出的困難的方法，同時神經科學家們也在自然界中找到了這些解決方案的案例。例如，Poirazi 之前就已經發現了XOR是可能存在于單個神經元中的：并且簡單將兩個樹突結合起來，就能夠實現這一點。而在最近的這個實驗中，他們甚至能夠提供了一個合理的、在單個樹突中執行XOR的生物物理機制。

處理器中的處理器

當然，并非所有的神經元都是如此。據論文作者 Gidon 所說，大腦的其他部分也存在很多更小的點狀神經元。或許發現的這種神經復雜性的存在是有原因的。

神經元中的一個小區室，為什么需要具有整個神經元或一個小型的神經網絡才具備的能力呢？

一個可能是：多層神經網絡的神經元能夠有更好的處理能力，并且能夠有更好的學習和存儲能力。

對此，Poirazi指出：“或許在單個的神經元內就有一個深度網絡，這在學習有難度的問題或認知方面，會強大許多。”

Kording 也提到：“單個神經元或許能夠計算真正復雜的函數，例如，它可能能夠擁有自主識別對象的能力。”

正如Poirazi 所說，如此強大的單個神經元，也將有助于大腦降低能量消耗。

據了解，研究者們計劃下一步將嘗試在嚙齒類動物或其他動物身上的樹突中尋找相似的信號，以此來確定這種計算能力是否是人類所獨有。他們也希望能夠超越模型的范疇，將他們觀察到的神經行為與動物的實際行為結合起來研究。

與此同時，Poirazi 則期望能夠比較這些樹突中的計算與神經元網絡中實際發生的情況，以此證明前者是否具備一些優勢。這包括測試其他類型的邏輯操作、探索這些操作將對學習和記憶有哪些貢獻意義。她表示：“在我們開展這些實驗之前，我們無法真正確定這一發現將帶來多大的影響。”

結語?

雖然現在研究者們還有很多工作需要做，但他們認為這些發現也暗示著他們需要重新思考他們該如何對大腦以及其更廣泛的函數建模。僅僅關注不同神經元和大腦區域的關聯性，遠遠不夠。

這一新結果，似乎也會對人工智能和機器學習領域的問題帶來影響。人工神經網絡依賴于點狀模型，這種模型將神經元視作對輸入計數并在活動函數中傳遞總數的節點。

紐約大學認知科學家、深度學習的懷疑者 Gary Marcus曾說過：“只有少數人在認真對待這個觀點：單個神經元可能是一個復雜計算的設備。”

他補充道，盡管這篇在《科學》上發表的論文只是更廣泛的研究史中闡述了這一觀點的其中一項發現，但計算機科學家應該嚴肅看待這一觀點，因為它用 XOR 問題為阻礙了神經網絡研究如此長時間的研究難題提供了一個研究框架。他表示：“也就是說，我們真地需要考慮采用這種解決思路，想從愚蠢的神經元中獲得聰明的認知的整個研究規則，可能是錯誤的。”

via? https://www.quantamagazine.org/neural-dendrites-reveal-their-computational-power-20200114/

雷鋒網報道。

。