Weighted and Weightless

〔緣起〕

　　前陣子提及了 weightless 神經元，覺得蠻新鮮的。因此特地研讀了些相關資料，在此就簡單地和傳統 weighted 的神經元模型作個比較。

〔導引〕

　　神經元模型，無論簡繁，每個神經元都有多個輸入，用來接收其他神經元的輸出訊號。經過簡單的處理後，得到單一的輸出訊號，這個輸出訊號可以作為多個其他神經元的輸入。

　　神經網路在執行真正的功能前，都要先經過訓練（training）或學習（learning）的過程；訓練完成後是藉由回想（recall）來發揮功用。
　　神經網路因單一神經元模型、網路拓樸等不同而有不同的訓練、回想方式。

　　「學習」就是改變，改變神經網路拓樸、改變神經元的各項參數；
　　「回想」則是根據神經元模型的假設方式來執行訓練好的功能。

〔神經元模型〕

　　傳統的權重型（weighted）神經元模型，每個輸入訊號會先經過“加權”處理、總和成單一的值後，再經過一個門檻函數後才產生最後的輸出訊號。

　　而無權重（weightless）神經元模型，每個特定輸入模式直接對應到特定的激發機率值。

〔訓練方式〕

　　傳統的訓練方式，無論是監督式、無監督式或聯想式等，多是藉由調整神經元間連結的權重（weight）來達成。

　　而無權重的，由於神經元間就如其名般，根本沒有權重這項屬性，學習就是記憶神經元的「輸入模式」，訓練則透過設定個別神經元的查詢表格（look-up table）來達成。
　　所以無權重神經網路，又稱 look-up 或 logical 神經網路。

〔學習速度〕

　　權重型神經網路在學習時，權重要一點一滴地、反覆地、慢慢地調整；後來有人提出機率神經網路（Probabilistic Neural Network, PNN），權重調整只要經過一次設定即可，所以學習快速。

　　而無權重神經網路在訓練時，直接將想要的功能函數設定到神經元的 look-up table 即可，所以也只要一次的功夫，速度當然也很快。

〔回想方式〕

　　權重型神經元模型多採用確定性激發模式；
　　而無權重神經元則多採用非確定性、機率式激發。

〔理論限制〕

　　權重型神經元模型有所謂的難學（hard learning）問題，比如說：無法模擬線性分離函數（如互斥或函數等）。

　　而單一無權重神經元就可以模擬線性分離函數。

　　不過加入隱藏層的權重型神經網路也可以模擬線性分離函數。

〔網路特性〕

　　無論有無權重的神經網路，都可以依應用場合而連成層狀的或有回饋的等各式網路拓樸。

　　假設有一 N 個神經元的 recurrent 型網路，又假設每個神經元的激發模式是全有全無式的二元型式，則 N 個神經元最多可有 2^N 個狀態數。
　　於訓練完成後，每個網路狀態就相當於神經網路已習得的一項事實或概念。

　　但實際上、網路在訓練後所能記憶的狀態數、事實個數或概念數目，還受限於諸如每個神經元的輸入個數等其他因素：

　　再次假設每個神經元有 K 個輸入，權重型神經網路在訓練後所能記憶的事實數量實際上是跟 K 成比例關係。

　　而無權重型神經網路所能記憶的事實數目卻呈 2^K 級數。

〔實作成本〕

　　如上所述，權重型神經模型似乎有無法表達線性分離函數（就單一神經元而言）、學習速度緩慢等問題。

　　更慘的是就解決同樣複雜度的問題而言，需要比無權重的多出 2^K-K 個神經元數目或同等級的接線數目。

　　實際上，在這裡大膽推測，無權重的接線並不真地較簡單，其只是將權重帶來的複雜度隱藏於神經元中，而不顯現到神經元間的連結上。

　　更精確地講，就模擬單一問題而言，每個“無權重的神經元”，其內部的接線複雜度都比單一“權重型神經元”複雜，且複雜度的級數比正是 2^K 比 K 。（這裡必須提醒，這個結論還沒做過詳細的統計分析，只是個人粗略的估算與臆測）

〔後話〕

　　撇開網路拓樸的接線複雜度不談，無權重神經網路在學習速度上、可理解性等，都優於傳統的權重型神經網路。

　　在訓練方式上，兩者也都有監督式、非監督式或聯想式的學習方法。

　　且在應用上，無論是群集、分類、雜訊濾除、機器動作控制等，無權重神經網路都有成功的案例。

　　在理論上，由無權重神經網路所組成的狀態神經機器，就運算能力而言，等同於通用的涂林機。

　　所以，實在值得大家投入更多關愛的眼神，相信據此，會有許多新的成果。

〔參考書目〕

　　關於無權重神經網路，更詳細的資訊可參考以下書目：

Aleksander, I. and Morton, B. H.

(1993) Neurons and Symbols: The Stuff that Mind is Made of.

       Chapman & Hall, London.

(1995) An Introduction to Neural Computing.

      Chapman & Hall, London.

Aleksander, I.

(1998) Impossible Minds: My Neurons, my Consciousness.

       Yang-Chih Book Co., Ltd.

Tags: [AI] [NN] [weightless]