紀錄一下, 2024年開年, AI大神們的演講或訪問最重要的有三場.
1. Jeff Dean在Rice Universtiy的演講.Jeff Dean (Google): Exciting Trends in Machine Learn...2. Yan Lecun接受Lex的專訪(3小時)Yann Lecun: Meta AI, Open Source, Limits of LLMs, AG...3. Geoffrey Hiton在Oxford University的演講Prof. Geoffrey Hinton - "Will digital intelligence r...

如果要說Nvidia一開始就在AI列車上嗎? 那倒也未必, 推測從Hinton做研究, 一開始應該是沒有得到Nvidia的幫助, 因為當時他們還是要有經費去買GPU. 甚至Hinton進入Google之後, Google內部也沒有可以用的GPU, 或者是說幾乎沒有GPU. 大部分的Google人並不理解明明公司有這麼龐大的運算資源卻被說成不能用. 但是在Jeff Dean的背書之下, Google就開始了GPU的布建. 最終以這本書的資料來看, Google的服務背後有著4萬顆的GPU在運行支持. 也許這就是CPU和GPU死亡交叉的開始.

Hinton等人在拿到ImageNet的比賽冠軍之後, 他成立了一家公司, 就叫DNN並且在只有論文, 沒有任何產品的情況之下公開標售, 標售過程這本書裡描述得非常生動, 緊張刺激, 諜對諜不斷上演. 最後這家公司被Google以4400萬元得標. 而當時的微軟差一點點沒有標到. 後來就開啟了Google在人工智慧領域的大幅領先, 一直到微軟借著OpenAI彎道超車為止. 而從Hinton參加ImageNet開始, Nvidia的GPU就開始如同上戰場不能沒有的槍一樣, 必須如影隨形. 我相信這就是這一波AI海嘯的開端, 到目前為止都還看不到終點, 或者說它根本就沒有終點, 就像地嗚要踏平全世界一圈一樣.

我個人覺得當初沒有下定決心走神經網路學派的人沒有趕上這個浪潮也是很正常的. 其實後來看到有很多台灣枱面上的人物跳出來說自己以前在學校也是研究AI的. 大概就可以猜出以前可能是走Minsky學派或是受不了AI寒冬而轉行的. 現在看到AI浪潮起來了, 才趕快把以前的招牌擦亮再拿出來. 但是其實真正賺到的還是只有Hinton和他的學生或搭檔們.

2016年, 因為裁員的關係我離開了某大公司, 面對茫然的未來, 只知道AI很紅, 那就來試著找找看吧. 3個月的空窗期過去, 終於有一家國內的AI新創願意雇用我了. 當時進去這家公司, 真是不得了, 一家40~50人的新創, 裡面最高曾經有5位博士在職, 其中2位博士要角是從美國回來的, 有一次從他們二人的對談中, 那些AI枱面上的頭人似乎就是以前和他們一起在校園裡做研究的人. 有時也會聽得出他們有那種錯過一波淘金熱的感嘆. 想想也是, 當時是2016年, 距離Hinton用4400萬鎂標出他的新創已經快4年了. Hinton等一群人除了賺到大錢, 也繼續在科技巨頭如Google, Facebook裡位居高位領著高薪, 也難怪他們會有這樣子的感嘆.

我還記得他在線上影片裡說這門課上完, 你就可以去矽谷找工作了, 外面人才很稀缺. 當時心想, 我2003年在澳洲上internet working這門課, 當時的老師笑笑說別做夢了, 別想只靠上完這門課找到工作. Andrew你哪來的底氣說上完這門課趕快去找工作. 現在看完這本書之後, 才慢慢理解, 2012年Alex Net拿到ImageNet比賽冠軍, 矽谷就猶如AI海嘯來臨前海水向後退好幾公里一般, 各家都在找相關的人才來儲備, 但是這些學校培養的高階人才既少又等很久又很貴, 套一句商業用語, 無法scale up. 透過MOOCs模式可以快速大量培養相關的中低階人才. 於是Coursera, Udacity的機器學習課永遠都是高掛註冊人數之首. 而我也是那努力上課的過江之鯽.

應該是2013年, 在Youtube上看到葉丙成把機率與統計的上課影片放出來, 看著看著就看完了. 而且自認為自己有聽懂一些. 想說再找找看這種線上學習資源, 於是找到了Coursera. 吳恩達Andrew NG的機器學習課免費開在上面, 不知道為什麼每次聽到Andrew說, "If you don't understand the math, don't worry about it. We will give you an intuition..."類似的話, 就很有聽下去的勇氣. 這門課對外行要入門是非常非常地有用. 有了這門課的基礎再去上其他補強的機器學習課, 幾乎都沒有什麼問題.

根據"AI製造商..."這本書裡所說, 吳恩達是受到創智慧這本書的啟發因此放棄Minsky學派, 轉而投入Hinton的神經網路學派. 我查了一下on-intelligence這本書是2005年出版的, 而我則是2009年才看到這本書, 可見差距有多大.

2009年我離開Android產品研發回到新技術部門去做機器人. 基於對機器人的憧憬和從加班壓力釋放後的我, 那年買了二本書, 一本是類神經網路實做(全華出版的), 另一本就是"創智慧-理解人腦運作，打造智慧機器
On Intelligence". 不幸的是前者還是延續以前的狀況, 高深的數學讓我到第二章就看不下去. 但是後者就不同了. Jeff Hawkins用科普的方式從大腦皮質的結構出發到後面介紹他模仿皮質型態開發出的Numenta, 不愧是創業家及sales, 在書中將神經網路的前景講得一片光明, 並且巧妙的迴避使用人工智慧這個term, 要知道當時是第二次人工智慧寒冬啊. 只是看完書我還是不知道怎麼coding類神經網路並且用類神經網路來解決問題.

2007年吧? 應該. 部門來了一位美國杜克大學的博士, 據說在美國是做大腦模擬的, 我心中真的敬佩不已. 他第一次做present講的是SVM(Support Vector Machine), 會議室爆滿, 演講內容不記得了. 只記得投影片上一大堆數學公式. 講完後的提問時間全場靜默, 站在門口的部長悠悠的問了一句, 這個要怎麼寫程式呢? 其實他當時如果能夠舉出實際的應用例子, 也許就不會讓後來那麼多人不爽了, 誰知道呢. 後來我才知道SVM就是當年打爆類神經網路, 開啟第二次人工智慧寒冬的技術, 而這位博士當年所帶來的, 其實才是真的前瞻技術啊.