謝志明 博士 談「類神經網路演算法的應用」

謝志明 博士 談「類神經網路演算法的應用」

蠻有幸的是資料科學與巨量資料導論，可以一起參與巨資碩專班的演講主題，這次可是從雙溪趕來城中聽演講(上次聽演講也是好久以前的事了...
feat.也是第一次來到未來教室！
演講人是類神經網路的一位前輩學者：謝志明 博士
其實對類神經網路一直沒那麼熟悉，想說可以看書、看影片來了解，但這次有這一項機會，很像是種入門吧！非常幸運👅👅👅

(2)
演講日期：2018/12/14(五)
時間：PM8:00
講者姓名：謝志明 博士
職稱：國立中興大學應用數學博士/中華全球華人產業發展學會理事/廈門華廈學院物流與電子商務系教授兼系主任
當日演講時數：2 hours
題目：類神經網路演算法的應用





謝志明 博士首先說當時他剛進研究所是1988年，資料取得非常不易，需要坐車北上南港中研院取得第一手資料，但現在的話，只需要1分鐘就可以拿到當年要的資料，非常方便。

Content

1. 類神經網路簡介
2. 案例講解
3. 5G時代的來臨
4. 未來趨勢

註：老師有提到羅振宇的邏輯思維講堂是值得去聽的。
→延伸https://www.youtube.com/channel/UCYpYY4G4T1PI-Jug8q6lNGA

案例導讀：滑鐵盧戰役

1815年6月18號比利時滑鐵盧，配角拿破崙等，主角羅斯柴爾德(Rothschild)銀行，當年要將情報傳回倫敦要至少2天時間，6月21晚上11點官方信使到倫敦。
掌握資訊，如何運用資訊優勢？
一般人不是正向或逆向買賣，但羅氏家族先狂賣英國公債，崩跌至票面5%，崩盤後，全面收購英國公債。
果：羅氏家族成為英國最大的債權人。謝志明 博士表示這個故事說明資訊掌握的重要性。
→延伸FINANCIAL TIMES有一篇Enduring lessons from the legend of Rothschild’s carrier pigeon正式說明這篇故事的相關內容

1. 類神經網路簡介

類神經網路(Artificial Neural Network)→一個基於腦與神經系統研究所啟發的資訊處理系統。
講者提供了一張類似下面的圖示，我大致上接收到的是：
INPUT採用很多weight，經過threshold得到OUTPUT的過程。

credit:http://ulcar.uml.edu/~iag/CS/Intro-to-ANN.html

常見的模式：
1.監督式Supervised：給一個目標，朝著這個目標學習

• 認知機Perceptron→很簡單，只有輸入跟輸出，但被Minsky突出質疑
• 倒傳遞BP→有三層，隱藏層功能有好有壞
• 機率神經PNN
• 學習向量量化LVQ
• 反傳遞CPN

註：遇到的質疑，稱不上學習，只是一個對照表而已。但其實還是有它的好處。

2.非監督式unsupervised：沒有教他，但自己分類(大部分用作分類)

• 自組織映射圖SOM
• 自適應共振理論ART

註：曾經有人嘲諷，這些國家努力十年的成果，還不如兩個年輕人努力一年後的成果(！
應用上就是專家系統。

3.聯想式學習associative learning：屬於比較早的學習網路

• HNN(Hopfield)→允許一些不完整的資訊
• BAM

4.最適化應用optimization application

• HNN(Hopfield-tank)
• 退火神經網路ANN→類似煉鋼的過程

註：有時候要注意是不是只到local min，而不是global min。(找了一張圖，下方綠色的點就是local min，但不是global min)

credit:http://ulcar.uml.edu/~iag/CS/Intro-to-ANN.html

為什麼要用類神經網路？

1. 高速計算能力→不按照表的搜索，直接把資料算出來
2. 高容記憶能力→不用個記憶體，只要存在weight加權上面
   註：蘇聯數學家kolmogorov的2m+1定理，目前還沒有人解出來。已被證明，但做不出來。
   感覺有點像是證明np=p的概念哈哈(謝志明 博士說有時候數學沒辦法有一個exact solution，所以要找到一個approximate solution。
3. 學習能力(learning)→學習能力演算法百百種，但累積經驗的學習能力有多少？
4. 容錯能力(fault tolerance)→Hopfield Model就具備容錯能力，像是人臉辨識，戴眼鏡跟不帶眼鏡。容錯率夠強的狀況，蛛絲馬跡很容易還原真相。

類神經網路簡史

1. 孕育期→perceptron認知機
2. 誕生期→感知機
3. 挫折期→Minsky出現
4. 重生期
5. 成熟期

2. 案例講解

使用失敗函數判斷類神經網路的線性切割學習樣本
博士舉了XOR的例子，如何用一條線分割線性不可分割？

credit:http://ecee.colorado.edu/~ecen4831/lectures/NNet3.html

博士提說解決之道：就是增加一個維度，就可以創造一個hyper plane，某個角度是一個直線。

認知機 學習：

• 線性可分割：不斷修正，找到最適合。(學習成功)
• 線性不可分割：當修正過來，修正過去，出現一個pattern就可以了。(無法學習成功)

修改式認知機 學習：加入一個維度

• 線性不可分割：(學習成功)

後面講到失敗函數，還有進階到線性不可分割+失敗函數。

學習樣本擴充的狀況，必須有一個X0=1，避免出現XNOR裡面00=1的狀況。
實例應用：
從bit、注音符號編碼的延伸，聲符5個、注音符號37個，標點符號15個，串起來共有21個bit。
→延伸http://www.cs.stir.ac.uk/courses/ITNP4B/lectures/kms/2-Perceptrons.pdf

3. 5G時代的來臨

雲端運算和物聯網已經成為標準配備。
特性：

1. 3G→(無線上網時代)
2. 4G→10GB需要80秒(行動影音時代)
   註：老師提到最近一則新聞在講有人有人自動駕駛後就呼呼大睡，撞到警車的例子，但如果誤差超多1millionsecond就不允許的。
3. 5G→10GB只需要4秒(萬物連網時代)

機會：

• 台廠機會大增
• 全球商機爆發
• 創新領域→亞洲有19個新創獨角獸(台灣沒有，估值10億美元)，博士強調不一定要培育，有參與也有機會。

4. 未來趨勢

將推動6大產業革命，因為是通訊網路致命性的改革。
→零售、製造、醫療、交通、娛樂、教育。

老師推薦周郁凱的八角框架理論（Octalysis），遊戲不只是個遊戲，是用來解決企業的問題。(遊戲化的應用層面)
案例：

• 美軍募兵遊戲
• Beat the GMAT遊戲，考試成績提升370%
• Foldit蛋白質折疊遊戲10天被破解

→延伸關鍵評論網上作者周郁凱的一篇文章「遊戲化」八角框架的核心動力：為何有人肯為維基百科付出心力？
另外，當然還有人工智慧、區塊鏈。

結論

• 做事方法必須隨環境改變
• 團隊合作很難，卻是必須(30人31腳)
• 跨域整合與創新

這次的演講，雖然講了很多數學上專業的東西，但很多跟現在的演算法研究有連結，也獲的很多新的知識。路好像還蠻長的...will I get my entrance ticket in this field?