Showing posts with label NN. Show all posts
Showing posts with label NN. Show all posts

Wednesday, January 18, 2006

The Silicon Eye

矽眼

在〈The Fitness of Things〉文末提到的《矽眼》,我這個月初在網路上得知此書,於 8 號溜到政大書城購買,當天就熬夜將它閱讀完畢、畫上重點、附上書籤。原本打算寫個評介的,想想還是把我批註的部份整理整理,將內文摘錄摘錄就好:

  • 視覺不是一種感覺,而是一種訊息理解力。[p22]
  • Carver Mead 和他的研究小組發展出對助聽器極有效用的電子耳蝸,也設計出一系列的視網膜晶片。[p23]
  • 一旦你親手建造某樣東西,你就能發掘到光憑思索或測量所無法觸及的層面。一旦了解真意,並抓住其中的物理基本原則,就能發展出更好的實物。[p23]
  • Foveon 相機的特色是,每一個畫素都將影像的真實特徵記錄下來,揚棄數位模擬的方式。[p24]
  • Foveon 的名稱,是由人體視網膜中具有高度色彩解析能力的中央窩(fovea)而來。[p42]
  • 發明的訣竅就在於尋找及延續模式。「這個世界有很多好東西,只要肯去尋找對稱、尋找模式,你就可以找到好東西。」[p49]
  • Peter Ducker 一反常理且無情的定義:「沒有一種改革能夠動搖既有的系統,除非它更優越十倍」。[p59]
  • 在半導體業,一間公司想達到競爭優勢的方法,並不是申請專利然後公諸於世,而是將它藏在製造過程的關鍵步驟內,藏在層層繁複緊密的線路和矽晶設計中。[p70]
  • 對電晶體來說,絕緣又無法通電的 floating gate 是沒有用處的,因為它不能當作控制元件,然而用在 memory cell 上卻很好,因為 floating gate 可以保存電容器的電力長達數年甚至數十年之久。[p77]
  • 只要是任何能簡化成數字的宇宙萬象,數位電腦都有能力模擬。但數位電腦卻無法和真實世界溝通。它們又聾、又啞、又笨、又無生命…人工智慧最大的挑戰不在操弄數字,無論是高中數學或高等微積分,而是真實世界的感官認知──所有視覺、聽覺、觸覺和動作能力,這些是所有生命誕生之後,第一個要學的。[p86]
  • 大腦並不是跟著抽象的時鐘節奏來運作,而是根據訊息進入的時間,再加上同時抵達的其他事件的時機來做運算。舉例來說,大腦能夠從一連串同時出現的、雜亂無章的各種聲音中,區別字和雜音的不同。[p98]
  • Analog VLSI and Neural Systems》 [p102]
  • Misha Mahowald 她的模型涵蓋整個神經組織中的光及能量的流向,從捕捉色彩的視網膜錐細胞,…最後進入皮質層,綜合一切,形成可辨識的影像全貌。從「大量的輸入」到「大量的輸出」,這就是相互關連,有條有理的視覺影像系統。[p116]
  • Carver Mead 的中心思想就是「從做中學」,除非你親自動手作,否則無法徹底了解真相。[p121]
  • Transducer Physiology [p122]
  • Blind Source Separation [p143]
  • Support Vector Machine [p144]
  • 類比似乎只能用在特定的應用上面,流程或輸入必須固定不變。如果要用到記憶體或寫程式,還是需要回歸到數位。[p147]
  • 訊號的時間常數如果在毫秒左右,用類比是很適合的。電荷在你使用前不會衰減,也不會漏掉… [p159]
  • 類比有著極為重要的地位。不過,如果你只需要計算的話,買台電腦就行了。[p163]
  • 大腦是極端區域性的,只有不到 1% 的線路是屬於遙控性質…神經軸索數目大約只占了神經突觸的十億分之一。大腦 70% 的能量處理樹突。雖然 McCullough 及其他首屈一指的類神經網路學者均認為這是一種被動程序,但 70% 這個數據卻意味著一種積極、有改變型態能力的溝通形式。比起 von Neumann 式的電腦,大腦其實更類似 data flow 或 systolic array 。[p171]
Tags: [] [] [] [] [] [] [] [] [] []

Thursday, July 08, 2004

Edelman's Neural Darwinism

[Books]

《Neural Darwinism: The Theory of Neuronal Group Selection》
http://www.amazon.com/exec/obidos/tg/detail/-/0465049346/104-2972390-8064705?v=glance

《Bright Air, Brilliant Fire: On the Matter of the Mind》
http://www.amazon.com/exec/obidos/ASIN/0465007643/qid=1089270287/sr=2-2/ref=sr_2_2/104-2972390-8064705
http://engineering-books-online.com/0465007643.html

《先有心靈?還是先有物質?:諾貝爾獎得主的觀點》 -- 上本書的中譯
http://www.ntl.gov.tw/publish/bookboom/003/48.htm

[Review]

http://www.ncbi.nlm.nih.gov/entrez/query.fcgi?cmd=Retrieve&db=PubMed&dopt=Abstract&list_uids=8094962
http://ourworld.compuserve.com/homepages/Joachim_Gruber/Edel.html
http://www.consciousentities.com/edelman.htm

[Project]

Nomad
http://vesicle.nsi.edu/nomad/

Tags: [] [] [] [] [] []

Spiking Neural Network

  Spiking Neural Network, SNN 又稱 pulsed neural network 顧名思義,其中的 neuron 著重在模擬生物神經元激發時軸突所傳遞的突波。這樣的模型除了比傳統的 ANN 更真實外,實用上也更適合處理時變訊號的應用場合。

  以下有個 open source
Amygdala -- http://amygdala.sourceforge.net/

  有興趣的可以去玩玩...

Tags: [] [] [] []

Tuesday, September 10, 2002

Weighted and Weightless

〔緣起〕

  前陣子提及了 weightless 神經元,覺得蠻新鮮的。因此特地研讀了些相關資料,在此就簡單地和傳統 weighted 的神經元模型作個比較。

〔導引〕

  神經元模型,無論簡繁,每個神經元都有多個輸入,用來接收其他神經元的輸出訊號。經過簡單的處理後,得到單一的輸出訊號,這個輸出訊號可以作為多個其他神經元的輸入。

  神經網路在執行真正的功能前,都要先經過訓練(training)或學習(learning)的過程;訓練完成後是藉由回想(recall)來發揮功用。
  神經網路因單一神經元模型、網路拓樸等不同而有不同的訓練、回想方式。

  「學習」就是改變,改變神經網路拓樸、改變神經元的各項參數;
  「回想」則是根據神經元模型的假設方式來執行訓練好的功能。

〔神經元模型〕

  傳統的權重型(weighted)神經元模型,每個輸入訊號會先經過“加權”處理、總和成單一的值後,再經過一個門檻函數後才產生最後的輸出訊號。

  而無權重(weightless)神經元模型,每個特定輸入模式直接對應到特定的激發機率值。

〔訓練方式〕

  傳統的訓練方式,無論是監督式、無監督式或聯想式等,多是藉由調整神經元間連結的權重(weight)來達成。

  而無權重的,由於神經元間就如其名般,根本沒有權重這項屬性,學習就是記憶神經元的「輸入模式」,訓練則透過設定個別神經元的查詢表格(look-up table)來達成。
  所以無權重神經網路,又稱 look-up 或 logical 神經網路。

〔學習速度〕

  權重型神經網路在學習時,權重要一點一滴地、反覆地、慢慢地調整;後來有人提出機率神經網路(Probabilistic Neural Network, PNN),權重調整只要經過一次設定即可,所以學習快速。

  而無權重神經網路在訓練時,直接將想要的功能函數設定到神經元的 look-up table 即可,所以也只要一次的功夫,速度當然也很快。

〔回想方式〕

  權重型神經元模型多採用確定性激發模式;
  而無權重神經元則多採用非確定性、機率式激發。

〔理論限制〕

  權重型神經元模型有所謂的難學(hard learning)問題,比如說:無法模擬線性分離函數(如互斥或函數等)。

  而單一無權重神經元就可以模擬線性分離函數。

  不過加入隱藏層的權重型神經網路也可以模擬線性分離函數。

〔網路特性〕

  無論有無權重的神經網路,都可以依應用場合而連成層狀的或有回饋的等各式網路拓樸。

  假設有一 N 個神經元的 recurrent 型網路,又假設每個神經元的激發模式是全有全無式的二元型式,則 N 個神經元最多可有 2^N 個狀態數。
  於訓練完成後,每個網路狀態就相當於神經網路已習得的一項事實或概念。

  但實際上、網路在訓練後所能記憶的狀態數、事實個數或概念數目,還受限於諸如每個神經元的輸入個數等其他因素:

  再次假設每個神經元有 K 個輸入,權重型神經網路在訓練後所能記憶的事實數量實際上是跟 K 成比例關係。

  而無權重型神經網路所能記憶的事實數目卻呈 2^K 級數。

〔實作成本〕

  如上所述,權重型神經模型似乎有無法表達線性分離函數(就單一神經元而言)、學習速度緩慢等問題。

  更慘的是就解決同樣複雜度的問題而言,需要比無權重的多出 2^K-K 個神經元數目或同等級的接線數目。

  實際上,在這裡大膽推測,無權重的接線並不真地較簡單,其只是將權重帶來的複雜度隱藏於神經元中,而不顯現到神經元間的連結上。

  更精確地講,就模擬單一問題而言,每個“無權重的神經元”,其內部的接線複雜度都比單一“權重型神經元”複雜,且複雜度的級數比正是 2^K 比 K 。(這裡必須提醒,這個結論還沒做過詳細的統計分析,只是個人粗略的估算與臆測)

〔後話〕

  撇開網路拓樸的接線複雜度不談,無權重神經網路在學習速度上、可理解性等,都優於傳統的權重型神經網路。

  在訓練方式上,兩者也都有監督式、非監督式或聯想式的學習方法。

  且在應用上,無論是群集、分類、雜訊濾除、機器動作控制等,無權重神經網路都有成功的案例。

  在理論上,由無權重神經網路所組成的狀態神經機器,就運算能力而言,等同於通用的涂林機。

  所以,實在值得大家投入更多關愛的眼神,相信據此,會有許多新的成果。

〔參考書目〕

  關於無權重神經網路,更詳細的資訊可參考以下書目:


Aleksander, I. and Morton, B. H.
(1993) Neurons and Symbols: The Stuff that Mind is Made of.
Chapman & Hall, London.
(1995) An Introduction to Neural Computing.
Chapman & Hall, London.
Aleksander, I.
(1998) Impossible Minds: My Neurons, my Consciousness.
Yang-Chih Book Co., Ltd.
Tags: [] [] []

Sunday, June 23, 2002

Re: Weightless Neural Network

  既然有同好出現,那我也不好藏私,這裡就再貼一下當初是從哪裡知道這個東東的:

書名:A.I.人工智慧──不可思議的心靈
   (Impossible Minds -- My Neurons, My Consciousness)
譯者:沈高毅
作者:Igor Aleksander
出版:揚智

  建議先去看看書中的第二、三章。雖然第四章的圖像式學習是本書重點所在,當然特別精采...

  什麼,手邊沒有,那就趕快去買啊!本書絕對可以讓你耳目一新的。

  作者在本書中的主題是著重在“人工意識”,並提出了如何達成人工意識的十三個推論。

  我也是在隔幾個月後,於最近再次閱讀時才赫然發現其中的神經元模型竟然是 weightless 的...,雖然這部分不是本書的重點所在,但對我而言到是挺新鮮的。


※ 引述《Corroson (藍月楓鈴)》之銘言:

這個的確有趣~ (我也得好好的 K 一下資料了…)
Tags: [] [] [] []