吳磊，2012年獲南開大學(xué)學(xué)士學(xué)位，2018年獲北京大學(xué)博士學(xué)位。2018-2021年在普林斯頓大學(xué)應(yīng)用與計算數(shù)學(xué)系從事博士后研究。2021年12月入職北京大學(xué)數(shù)學(xué)科學(xué)學(xué)院信息與計算科學(xué)系，任助理教授。研究領(lǐng)域為深度學(xué)習(xí)的數(shù)學(xué)理論，特別側(cè)重于隨機(jī)梯度算法的隱式正則化和神經(jīng)網(wǎng)絡(luò)模型的逼近性質(zhì)。
Q：請介紹一下您現(xiàn)在的研究工作？
A：一句話來說，我現(xiàn)在的工作是在嘗試建立深度學(xué)習(xí)的理論基礎(chǔ)。從Hinton 2012年關(guān)于ImageNet的工作以來，以神經(jīng)網(wǎng)絡(luò)模型為基礎(chǔ)的深度學(xué)習(xí)方法在很多領(lǐng)域都取得了突破性的成功。然而我們對于深度學(xué)習(xí)的工作機(jī)制卻幾乎沒有理解，這導(dǎo)致深度學(xué)習(xí)被大家戲稱為“煉丹學(xué)”。我的工作目的是嘗試用數(shù)學(xué)的語言和方法來理解神經(jīng)網(wǎng)絡(luò)的工作機(jī)制。這當(dāng)然是一個很大的問題，我目前的研究主要集中在兩個問題上。
第一個問題是：什么樣的函數(shù)可以被神經(jīng)網(wǎng)絡(luò)所高效地逼近？我們知道傳統(tǒng)模型在高維時都會有維數(shù)災(zāi)難的問題，而神經(jīng)網(wǎng)絡(luò)似乎沒有。這是為什么呢？為此我們在嘗試發(fā)展了一套適用于神經(jīng)網(wǎng)絡(luò)模型的高維函數(shù)空間理論。
第二個問題是：為什么隨機(jī)梯度算法總能夠收斂到那些泛化比較好的解？我們知道神經(jīng)網(wǎng)絡(luò)模型是非凸的、往往過參數(shù)化的，這導(dǎo)致系統(tǒng)存在大量全局極小值點。其中一些極小值點可能表現(xiàn)很差，因此大家自然會擔(dān)心算法會收斂到那些差的解。然而實際中，簡單的隨機(jī)梯度法竟然總能收斂到那些好解。我的工作嘗試從動力系統(tǒng)的穩(wěn)定性角度出發(fā)來解釋這個神奇的現(xiàn)象。
Q：在您的求學(xué)經(jīng)歷中，哪些因素或人促使您選擇了目前的研究方向？
A：我的求學(xué)和科研經(jīng)歷比較簡單，就是個想搞明白“為什么”的過程。我小時候就覺得數(shù)學(xué)很抽象，像方程、極限、求導(dǎo)等等，但是卻能解決各種各樣的問題，很神奇。我就非常想知道為什么，于是大學(xué)選擇了數(shù)學(xué)專業(yè)。但是那個時候并不懂?dāng)?shù)學(xué)和數(shù)學(xué)的差別很大，就稀里糊涂地讀了基礎(chǔ)數(shù)學(xué)。后來發(fā)現(xiàn)自己并不特別喜歡基礎(chǔ)數(shù)學(xué)，感覺太抽象了，缺少直觀。這個時候，我開始對于編程產(chǎn)生興趣。一次C++課上，有個同學(xué)給我展示了：如何寫代碼解決一個數(shù)學(xué)問題。我當(dāng)時“大受震撼”，覺得很神奇，因為這些代碼對于當(dāng)時的我來說就是一堆字符而已。我想不通計算機(jī)是怎么通過這些字符串解決問題的，就想搞明白為什么，于是花了大量的時間學(xué)習(xí)編程和計算機(jī)的知識。
大三的時候參加北大的保研，當(dāng)時就決定轉(zhuǎn)到應(yīng)用數(shù)學(xué)專業(yè)。基于我的編程基礎(chǔ)，我自然地選擇了計算數(shù)學(xué)專業(yè)。來了北大之后，就一直上上課、看看書，大部分時候都在自己探索，什么搞不明白就去看什么。特別地，我在鄂維南老師的建議下讀了很多物理方面的書籍。雖然我博士前幾年一直沒有真正地開始科研，但是這幾年的積累為我后來研究打下了扎實的基礎(chǔ)。
后來跟著鄂維南老師做了個用tight frame框架來理解卷積神經(jīng)網(wǎng)絡(luò)的課題。雖然沒有做出什么成果，但是我也算正是入門科研了。也因此讀了一些深度學(xué)習(xí)方面的文章，發(fā)現(xiàn)深度學(xué)習(xí)方法效果特別好。我就特別想搞明白為什么，于是在鄂老師的指導(dǎo)下，開始了這方面的研究工作。
Q：為什么會選擇回到北大數(shù)院工作？這里最吸引您的是什么？
A：我博士六年都是在北大度過的，對北大特別是數(shù)學(xué)學(xué)院已經(jīng)非常熟悉了。北大數(shù)學(xué)一直都是國內(nèi)最頂尖的存在，在這有最優(yōu)秀的同事以及學(xué)生。我覺得這些對于研究來說是極其重要的。
2022春吳磊老師在北大開設(shè)“數(shù)據(jù)科學(xué)導(dǎo)引”課程
Q：您已回來了一段時間，回來后有些什么特別的經(jīng)歷或是什么印象深刻的事情嗎？
A：我這次回來印象最深刻的是北京的霧霾好像很少了。學(xué)校施工也少了很多，感覺北大可以摘掉“北京工地大學(xué)”的帽子了。（笑）
Q：對在這里的研究生涯，您有什么計劃和期待？
A：我短期內(nèi)計劃把關(guān)于穩(wěn)定性角度的隱式正則化方面的研究給逐步完善。長期來說，我希望最終能搞明白三個問題：神經(jīng)網(wǎng)絡(luò)模型到底是怎么工作的？神經(jīng)網(wǎng)絡(luò)模型的損失景觀到底長什么樣子？隨機(jī)梯度法是怎么在沒有任何先驗指導(dǎo)下找到那些好解的？
我也期待能夠和北大的老師和學(xué)生建立良好的合作，做出更好的工作。實際上，我最近有跟張磊老師討論神經(jīng)網(wǎng)絡(luò)模型的能量景觀，他基于計算物理背景的理解讓我深受啟發(fā)；希望能合作出一些特別有意義的結(jié)果。
Q：您對未來的教學(xué)及人才培養(yǎng)工作有什么目標(biāo)或是展望？
A：教學(xué)方面，我這學(xué)期正在講授“數(shù)據(jù)科學(xué)導(dǎo)引”這門課。市面上已經(jīng)有很多關(guān)于機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的教材。但是這些教材都是計算機(jī)背景的人寫的，并不特別適合數(shù)學(xué)系的學(xué)生來學(xué)習(xí)。我正在和鄂維南老師以及Stephan Wojtowytsch合寫一本適合數(shù)學(xué)背景學(xué)生的教材。我希望在教學(xué)的過程里面可以教學(xué)相長、不斷改進(jìn)，提升這門課以及這本教材的質(zhì)量。
人才培養(yǎng)方面，我還在逐步探索自己的方式。北大這邊的學(xué)生都是最優(yōu)秀的，我期待他們以后能夠做出最杰出的工作。
“數(shù)據(jù)科學(xué)導(dǎo)引”課堂
Q：立足當(dāng)下，您對想要走上數(shù)學(xué)學(xué)術(shù)之路的學(xué)生們有什么建議？
A：保持好奇心，多問為什么。
Q：請您談?wù)剶?shù)學(xué)研究的苦與樂，在學(xué)習(xí)和研究數(shù)學(xué)的過程中您遇到過哪些困難，又是如何克服的？
A：深度學(xué)習(xí)的理論研究最吸引我的地方在于：需要自己做數(shù)值實驗發(fā)現(xiàn)并凝練一些“神秘”的現(xiàn)象；然后需要設(shè)計“簡化”的數(shù)值實驗來構(gòu)建對這些現(xiàn)象的直觀理解；最后才是應(yīng)用數(shù)學(xué)工具進(jìn)行理論分析。可能很多數(shù)學(xué)工作者不喜歡做數(shù)值實驗，但是我個人非常享受這個過程。就好像我喜歡爬山、徒步，你永遠(yuǎn)不知道接下來的風(fēng)景什么，這種探索過程非常令人著迷。這種探索也讓我感受到應(yīng)用數(shù)學(xué)的魅力。
我印象比較深刻的就是我們關(guān)于隨機(jī)梯度法在極小值點附近的逃離現(xiàn)象的研究。逃離現(xiàn)象本身沒有特別奇怪的，但是我自己做了大量實驗發(fā)現(xiàn)，這個逃離往往就發(fā)生在幾個迭代步，而不是幾千、上萬步。我自己當(dāng)時百思不得其解，于是找到鄂老師和馬超討論。結(jié)果馬超構(gòu)造了一個簡單的一維例子，用穩(wěn)定性角度給出了一個非常漂亮且簡單的解釋。在此基礎(chǔ)上，我們發(fā)展了穩(wěn)定性誘導(dǎo)的隱式正則化理論。這個經(jīng)歷對我影響極其深刻，讓我意識到構(gòu)造簡單例子、設(shè)計簡單數(shù)值實驗在研究中的重要性。
Q：生活中的您有什么興趣愛好嗎？喜歡通過什么方式來為自己減壓？
A：讀博的時候特別喜歡刷經(jīng)典電影，不過現(xiàn)在看得也比較少了。另外，我也喜歡徒步和爬山，讀博期間把北京周邊大大小小的山頭爬了個遍，比如妙峰山、箭扣、靈山、海坨等。印象最深刻的是重裝徒步小五臺山那次。那天扎營在山脊上，冰雹、暴雨搞得一夜沒怎么睡，總是擔(dān)心帳篷撐不住。
結(jié)果驚喜總在意料之外：半夜雨停，云散，月出；云海從山谷里慢慢升起，在月光下美得讓人窒息。
現(xiàn)在減壓的方式就是每周跑兩個5公里，沒事來趟妙峰山。
五臺山云海 吳磊攝
