教育前瞻

深度學習

原文:高賢思

洪流教授是城大經濟及金融系管理科學系講座教授。在本學期,洪教授依循史丹福大學網上課程「CS231n:視覺識別卷積神經網絡」,籌辦「深度學習」自學小組,吸引了自本科至博士學位等不同級別的學生,以及教研人員的參與。《城大商學院》走訪了其中一場研討會探個究竟,並採訪了管理科學系哲學碩士生張茵、研究助理張禕凡,以及管理科學系助理教授孫占坤博士,了解他們的學習動機和箇中得着。

為甚麼籌辦這個學習小組?

洪流教授:我想學些東西,機器學習已在多個範疇帶來改變,在我修讀博士學位時還沒有這些演算法。不論我的博士生是否打從心底願意參加,我只希望他們可以學習更多。在管理科學的領域中,我們可以看到機器學習和數據科學正在改變我們的做事方式。如今,機器學習再不神秘了。

學習使用工具對哲學博士生有多重要?

洪流教授:我認為非常重要。以我自己做博士生的經驗來說,我總共修讀了七十多門不同科目,當時對於課程日後的實際應用並無頭緒,一切只是出於好奇。正如喬布斯所言,假如他大學時沒有修讀書法課程,今天的電腦程式就不會有各式各樣的字體了!即使我們目前的研究與深度學習工具沒有直接關聯,但我想再過兩、三年,或許可以應用這些知識在研究論文之上。

深度學習怎樣運作?

張茵:以視覺辨識來說,比如你有 10 類圖像的真實數據標籤(Ground truth label),計算真實數據與價值 X 兩者的差異。但這個方法其實可以應用在任何預測問題上,譬方說,要評估某房屋單位的價格,便需要有單位地點、房間數目,甚或住戶入息等資料。在深度學習出現之前,機械演算能力相對簡單,沒有隱藏分層(Hidden layers)的推算;但現在有了深度學習,便可根據上述三個數值,嘗試預測家庭成員人數、校網、與學校的步行距離,最終得出估計樓價。

深度學習可應用在哪些地方?

張茵:這項技術可以應用到任何研究領域,例如工程學、圖像辨識、金融領域,以至任何典型統計預測問題上,而在管理科學領域應用這項技術,主要原因是要降低成本。

從研究的角度,你可以在任何領域使用 Python 和來自其他程式語言的應用程式介面。就以遺傳學為例,它可以預測基因突變;當然,深度學習也可應用於其他醫學領域。

可以舉例說明一下嗎?

張禕凡:以共享單車為例,Ofo 單車雖說隨處都有,但有時候卻偏偏找不著,這意味 Ofo 公司沒有足夠數據訓練電腦神經網絡,把單車放在有需要使用的地方。

時至今日,我們雖然擁有許多神經網絡,仍需大量數據去訓練這些網絡,以提高解決問題的效率。只是,我們往往欠缺足夠數據來解決問題,於是便衍生出一種名叫生成對抗網絡的工具。它是一種用於非監督式機器學習的人工智能演算法,由兩個神經網路在零和遊戲的框架下相互競爭學習,從而產生更多數據用以訓練神經網絡。

這個學習小組對你有幫助嗎?

張禕凡:這小組着實讓我受益不淺。現在,我懂得怎樣在 Google Cloud 平台上運行程式。你亦可啟動圖形處理器,處理數以百萬計的參數。

張茵:這是我第一次使用 Python 程式編寫語言,令我獲益良多。現在閱讀關於深度學習的論文,再也不會感到一頭霧水了!

在史丹福大學是誰教授這門課?

洪流教授:這門課是由史丹福大學的哲學博士生主講的(這方式在城大並不通行),課程內容是同年發表的研究論文,這種安排令學習走在科技最前線,我也是頭一回遇見。

你在修讀哲學博士學位時,哪幾門課對你而言最為重要?

洪流教授:正如剛才所說,在我念博士學位時,我修讀了幾十門課,記得有一門電腦輔助設計尤其特別,有一半課堂都在講述計算幾何,跟我研習的領域毫不相干。課程中,我們學到了沃羅諾伊圖(Voronoi Diagram),就是因應既定的離散數據點的空間分割演算法,根據各點距離將平面劃分成不同區域,我也花了很多時間編寫相關電腦程式。從未想過有一天能夠借助沃羅諾伊圖,去解決修讀哲學博士學位所遇到的核心問題,是關於模擬最優化的問題。有人說,你怎會這麼有創意!事實並非如此,只是有一天我忽發奇想:「唉,這跟沃羅諾伊圖很類似。」

喬布斯說過,人生就是把過去的點點滴滴串連起來。當這些點連成了路,日後我的學生就得以大步前行。


深度學習 ( 又稱深度結構學習或層次學習 ) 屬於廣義機器學習法的分支,以學習數據表示方式為基礎,跟特定任務算法截然不同。深度學習可分為監督式學習、半監督式學習,或無監督式學習。

深度學習模式與生物神經系統的資訊處理及通訊模式有著細微的關聯,例如:神經編碼就試圖拆解各種刺激與腦神經反應的關係。

目前,深度神經網絡、深度置信網絡、循環神經網絡等深度學習建築結構已應用於電腦視覺、語音識別、自然語言處理、音頻識別、社交網絡過濾、機器翻譯、生物資訊及藥物設計等領域,其成果與活生生的專家不相伯仲,有時候甚至比人類更勝一籌。──維基百科

哲學博士生應該廣泛修習不同課程嗎?

洪流教授:哲學博士生通常專注研究某一特定領域,但我希望培訓學生建立更廣泛的根基。需知道研究課題時有變化,如果只是埋首於當前課題,五年過後便可能會變得思想狹隘,甚至僵化。屆時,會因為未能掌握適合的工具或技術而無法解決新的問題,正因如此,我到今天仍然在學習新工具呢!

我覺得導師與學生的關係相當緊密。在某種程度上,我指導的哲學博士生畢業後的思考方式,會受我的思維方式所影響。於我而言,我自覺思考模式與我的教授,甚至與他師承的教授,皆有相近之處。這可稱得上是一脈相承。正如牛頓所言,我們站在巨人的肩膀上。我們運用已有的工具解決問題,而在過程中,我們又可能發明出新的工具來。

學習小組的經驗會對當前的教學帶來改變嗎?

孫占坤博士:我認同洪教授的看法。我畢業至今還不算很久,一聽到有新的方法,便會想到能否用來解決問題。自學不一定是最有效的方法,相反,課程的導師往往更能夠點明課題的要義。現在,機器學習對我來說,再也不是費解的謎題了。

首先,這個學習小組能夠滿足我的好奇心。其次,當中所學到的知識,說不定對我未來的研究會有幫助,而這點你永遠無法預知,只有留待日後才會找到當中的關聯。再說,學習小組也影響了我的教學。現在,我教授的課程涉及統計學,當中不乏經典的統計學內容。圖像辨識技術如今應用到無人駕駛汽車上,正好使我有機會在課堂上介紹最嶄新的技術發展。


用於商業研究的機器學習

人工智能無處不在。舉凡人臉辨識、語音識別、預測廣告、垃圾電郵偵測技術,都是建構於人工智能科技之上。機器學習在商業研究中同樣重要,亦有助大幅擴闊研究工作的規模。新的學習工具不但為我們提供了新的數據及分析方法,亦能夠著眼於樣本外預測、高維算法等新的課題。

「用於商業研究的機器學習」(Machine Learning for Business Research)課程(FB8918)是商學院將於 2018/19 學年新開辦的選修科。鑒於機器學習是當今許多商業模型的核心,該課程將教授機器學習的模型及工具,讓學生能夠進行相關的商業研究。課程亦會深入探討監督式學習科技,包括迴歸、分類、正規化、樹狀模型法、集成算法等,並介紹無監督式學習的基本概念及工具,包括分群及主成份分析等。

該課程亦著重實務培訓,使用的商業數據包括市場營銷範疇及金融市場應用商業數據,以及新聞媒體的非結構化文本數據。商業數據軟件將會運用分群、樹狀與森林結構、支持向量機(Support Vector Machines)、提升及集成算法(boosting and ensemble methods),以及神經網絡等計算法。應用範疇包括市場營銷數據分類、金融市場的預測及應用,以及事件研究中的文本分析及應用。