近日，三位年輕華人AI博士有了最新的職業(yè)規(guī)劃：陳天奇、朱俊彥雙雙宣布將于2020年秋季加入CMU，擔(dān)任助理教授；金馳則宣布今年9月加入普林斯頓，擔(dān)任助理教授。

優(yōu)秀，可能是一種習(xí)慣。

最近，三位華人AI大牛博士生的職業(yè)規(guī)劃有了最新的進(jìn)展：

XGBoost作者陳天奇宣布2020年秋季加入CMU，擔(dān)任助理教授；

CycleGAN作者朱俊彥宣布2020年秋季加入CMU，擔(dān)任助理教授；

ICML 2018研討會(huì)“RL探索”最佳論文獎(jiǎng)得主金馳宣布2019年9月加入普林斯頓，擔(dān)任助理教授。

三位AI大神的博士生涯即將告一段落，等待他們的是更富挑戰(zhàn)、更具意義的科研工作。正如陳天奇和朱俊彥在Twitter中表示，他們都希望在各自的領(lǐng)域做出更多貢獻(xiàn)。

恭喜！加油！

XGBoost、TVM作者陳天奇加入CMU

華盛頓大學(xué)博士生、著名機(jī)器學(xué)習(xí)算法XGBoost，深度學(xué)習(xí)編譯器TVM等的作者陳天奇近日在Twitter上宣布，將于2020年秋季加入CMU機(jī)器學(xué)習(xí)系擔(dān)任助理教授。

陳天奇說：

我將于2020年秋季加入CMU擔(dān)任助理教授。我非常感謝我的導(dǎo)師、合作者和華盛頓大學(xué)在我的博士生涯中給予我的幫助。期待與CMU同事合作，為未來的智能系統(tǒng)進(jìn)行更多研究。

陳天奇博士就讀于華盛頓大學(xué)保羅·G·艾倫計(jì)算機(jī)科學(xué)與工程學(xué)院，在上海交通大學(xué)ACM班獲得碩士和學(xué)士學(xué)位。

陳天奇

谷歌AI負(fù)責(zé)人Jeff Dean、GAN發(fā)明者Ian Goodfellow、CMU副教授馬堅(jiān)等人都表示了祝賀。

AI大牛李沐也在知乎上透漏了一點(diǎn)陳天奇加入CMU的歷程：

兩點(diǎn)感慨：

1. CMU 很早就開始做 system 和 machine learning 結(jié)合的研究（2011 年左右吧），經(jīng)過前期很多探索和彎路（錯(cuò)過了好幾個(gè) super star），終于招到了最合適的年輕老師。天奇之前還在糾結(jié)要不要去 CMU，終于決定了。這是 CMU 的一大幸事。

2.比較間接的了解了天奇的找 faculty 之路，感慨是有好的工作是前提，但對(duì)方學(xué)校欣賞也很重要。至少你去面試的 host 需要很欣賞你的工作。例如我很喜歡 TVM 的工作，我們組也有好幾個(gè)成員投入在 TVM 上，所以經(jīng)常出門推銷。過程中發(fā)現(xiàn)我之前 CMU 的系統(tǒng)方向老板也很喜歡（天奇的 CMU 面試 host），我以前在 CMU 的辦公室友很喜歡（天奇糾結(jié)的另一個(gè) offer 的 host），我們組 TVM tech leader 的老板也很喜歡（另一個(gè)發(fā) offer 的 top 學(xué)校的大佬）。此外，比較遺憾是另外幾個(gè)非常強(qiáng)的學(xué)校沒有跟進(jìn)。我個(gè)人是很希望天奇能去 standford 或者 berkeley，這樣未來合作更方便（CMU 實(shí)在是太偏了，灣區(qū)去匹茲堡的直達(dá)似乎都沒了）。沒拿到也不意外，之前跟他們幾個(gè)大佬老師聊的時(shí)候，似乎對(duì)這一塊不感興趣。

(https://www.zhihu.com/question/329657835/answer/717971252)

“有好的工作是前提”。陳天奇的博士生涯中，做了不少被廣泛采用的好工作。在他的主頁上，他寫道：“我對(duì)機(jī)器學(xué)習(xí)和系統(tǒng)的交叉研究十分感興趣。這個(gè)領(lǐng)域真正令人興奮的地方在于，當(dāng)我們將先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)和系統(tǒng)結(jié)合在一起時(shí)，能夠?qū)崿F(xiàn)什么。此外，我也在推動(dòng)深度學(xué)習(xí)、知識(shí)遷移和終身學(xué)習(xí)(lifelong learning)等方向?！?/p>

陳天奇獲得了Google Ph.D. Fellowship、2012年KDDCup冠軍、2011年KDDCup亞軍等獎(jiǎng)項(xiàng)，在ICML、ICLR、NeurIPS、KDD等人工智能頂會(huì)發(fā)表多篇論文。

陳天奇Google scholar引用數(shù)據(jù)

陳天奇和團(tuán)隊(duì)開發(fā)了三個(gè)被廣泛采用的機(jī)器學(xué)習(xí)系統(tǒng)：

TVM stack：一個(gè)用于深度學(xué)習(xí)的自動(dòng)端到端優(yōu)化編譯器。

XGBoost，一個(gè)可擴(kuò)展的、端到端的tree boosting系統(tǒng)。這個(gè)工具已經(jīng)成為數(shù)據(jù)科學(xué)家每天使用的工具之一。

Apache MXNet(共同作者)：目前AWS采用的主要深度學(xué)習(xí)框架之一。

XGBoost

先看XGBoost，XGBoost 最初是一個(gè)研究項(xiàng)目，由當(dāng)時(shí)在 Distributed (Deep) Machine Learning Community (DMLC) 組里的陳天奇負(fù)責(zé)。

2014 年，時(shí)為華盛頓大學(xué)博士的陳天奇開源 XgBoost 算法，受到大眾追捧，之后它也迅速成了 Kaggle 競賽中的?？?。

時(shí)至今日，XgBoost 在競賽中的使用率還是很高，性能也很好，不少奪冠方案中都有它的身影，被譽(yù)為比賽奪冠的大殺器。

TVM Stack

陳天奇的另一個(gè)重要工作是TVM。

TVM是一個(gè)神經(jīng)網(wǎng)絡(luò)編譯器，它可以直接從其他框架訓(xùn)練好的模型編譯到目標(biāo)平臺(tái)上的可執(zhí)行代碼，速度和顯存的都有大幅優(yōu)化。TVM使得自動(dòng)或者半自動(dòng)生成的代碼能夠達(dá)到手寫代碼的效果。

TVM的框架

陳天奇把TVM+NNVM 描述為 “深度學(xué)習(xí)到各種硬件的完整優(yōu)化工具鏈”。他在知乎上對(duì)TVM進(jìn)行了解釋：

TVM 嘗試從更高的抽象層次上總結(jié)深度學(xué)習(xí) op 的手工優(yōu)化經(jīng)驗(yàn)，用來使得用戶可以快速地以自動(dòng)或者半自動(dòng)的方法探索高效的 op 實(shí)現(xiàn)空間。

TVM 和已有的解決方案不同，以 XLA 作為例子，TVM 走了和目前的 XLA 比更加激進(jìn)的技術(shù)路線，tvm 可以用來使得實(shí)現(xiàn) XLA 需要的功能更加容易：已有的解決方案本身基于高級(jí)圖表示的規(guī)則變換，可以產(chǎn)生一些圖級(jí)別的組合 op 優(yōu)化，如 conv-bn fusion，但是依然要依賴于手寫規(guī)則來達(dá)到從圖的表示到代碼這一步。圖的 op 表示到代碼本身可以選擇的東西太多，如何做線程，如何利用 shared memory，而大部分沒有在圖語言里面得到刻畫，導(dǎo)致難以自動(dòng)化。 這樣下去深度學(xué)習(xí)系統(tǒng)的瓶頸必然從 op 實(shí)現(xiàn)的復(fù)雜度變成了實(shí)現(xiàn) graph compiler 中模式生成規(guī)則的復(fù)雜度。走這個(gè)方向需要非常大的工程團(tuán)隊(duì)的支持，而我們希望采用更少的人力達(dá)到同樣甚至更好的效果。

我們采取了風(fēng)險(xiǎn)更大但是回報(bào)也更大的長遠(yuǎn)技術(shù)路線。簡單地說，TVM 通過把圖到 op 生成規(guī)則這一步進(jìn)一步抽象化，把生成規(guī)則本身分成各個(gè)操作原語，在需要的時(shí)候加以組合?；?tvm 我們可以快速地組合出不同的 schedule 方案。

鏈接：https://www.zhihu.com/question/64091792/answer/217722459

此外，陳天奇還和李沐一起，是 DMLC(Distributed (Deep) Machine Learning Common) 及其主要項(xiàng)目MXNet的主要發(fā)起人和主要貢獻(xiàn)者之一。

加入CMU后，陳天奇將繼續(xù)發(fā)表哪些工作令人期待。有人表示，CMU 大概率迎來史上第一門 AI systems 課。

“開拓者”：朱俊彥年僅30歲拿到CMU教職

與此同時(shí)，另一位AI大神朱俊彥也表示將在2020年秋季回到CMU，擔(dān)任助理教授一職。

6月14日，朱俊彥在其Twitter上宣布：

在加州大學(xué)伯克利分校和麻省理工學(xué)院CSAIL度過了美好的時(shí)光之后，我將于2020年秋季回到CMU擔(dān)任助理教授。我期待在圖形、視覺和機(jī)器學(xué)習(xí)的交叉領(lǐng)域做更多的工作。

2012年，朱俊彥獲得了清華大學(xué)計(jì)算機(jī)系的工學(xué)學(xué)士學(xué)位。而后便前往CMU和UC Berkeley深造，經(jīng)過5年的學(xué)習(xí)，朱俊彥于2017年獲得了UC Berkeley 電氣工程與計(jì)算機(jī)科學(xué)系的博士學(xué)位(他的導(dǎo)師是 Alexei Efros，博士研究由一項(xiàng) Facebook 獎(jiǎng)學(xué)金支持)。

他的博士畢業(yè)論文Learning to Generate Images，獲得了計(jì)算機(jī)圖形學(xué)頂會(huì)ACM SIGGRAPH 2018“杰出博士論文獎(jiǎng)”。

朱俊彥博士可謂是計(jì)算機(jī)圖形學(xué)領(lǐng)域現(xiàn)代機(jī)器學(xué)習(xí)應(yīng)用的開拓者。他的論文可以說是第一篇用深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)地解決自然圖像合成問題的論文。

因此，他的研究對(duì)這個(gè)領(lǐng)域產(chǎn)生了重大影響。他的一些科研成果，不僅為計(jì)算機(jī)圖形學(xué)等領(lǐng)域的研究人員所用，也成為視覺藝術(shù)家廣泛使用的工具。

其中，最為公眾所熟知的便是CycleGAN。

CycleGAN利用pixel2pixel技術(shù)，能自動(dòng)將某一類圖片轉(zhuǎn)換成另外一類圖片，過度真實(shí)自然，可以說是2017年最受關(guān)注的模型之一。

不僅僅是CycleGAN，朱俊彥還有諸多家喻戶曉的科研成果。

英偉達(dá)在GTC 2019上推出了一個(gè)令人驚嘆的圖像生成器——GauGAN，可以說是憑借幾根線條，草圖秒變風(fēng)景照。而朱俊彥便是作者之一。

論文地址：https://arxiv.org/pdf/1903.07291.pdf

這個(gè)軟件能夠?qū)⑷祟惖睦L畫方式和過程進(jìn)行編譯，在幾秒鐘內(nèi)就能畫出草圖，并將其轉(zhuǎn)換為逼真的照片。從軟件的早期演示中，它似乎能夠做到這一點(diǎn)。

此外，最近爆火的MIT十美元“滅霸”手套也是朱俊彥的杰作。

這個(gè)神奇手套名為“可伸縮觸覺手套”(scalable tactile glove，STAG)，使用柔性材料，在幾乎整只手上布置了550個(gè)微型傳感器。僅使用觸覺數(shù)據(jù)，AI系統(tǒng)識(shí)別物體的準(zhǔn)確率高達(dá)76%。

實(shí)驗(yàn)還證明，大量的壓力圖及其空間分辨率是成功識(shí)別目標(biāo)的關(guān)鍵。并且類似的深度學(xué)習(xí)模型可以估計(jì)未知物體的重量。結(jié)果顯示，重量在60克以內(nèi)的物體大部分都能準(zhǔn)確估計(jì)出來。

這項(xiàng)工作還發(fā)表在了國際科技期刊《Nature》。

論文地址：

https://www.nature.com/articles/s41586-019-1234-z

除上述這些非常出名的成就外，朱俊彥的其它工作也是非常出彩的。更多科研成果可以訪問下方個(gè)人主頁：

朱俊彥個(gè)人主頁：

http://people.csail.mit.edu/junyanz/#sect-awards

2018 年，朱俊彥獲得了 UC Berkeley 頒發(fā)的 David J. Sakrison Memorial Prize，以及英偉達(dá)的 Pioneer Research Award。

他還曾獲得過以下獎(jiǎng)項(xiàng)和獎(jiǎng)學(xué)金：

ACM SIGGRAPH杰出博士論文獎(jiǎng)（2018年）

伯克利EECS（2018年）David J. Sakrison杰出博士研究紀(jì)念獎(jiǎng)

NVIDIA先鋒研究獎(jiǎng)（2018年）

Facebook獎(jiǎng)學(xué)金（2015年）

清華大學(xué)優(yōu)秀本科畢業(yè)論文（2012）

清華大學(xué)優(yōu)秀本科生（2012年）

國家獎(jiǎng)學(xué)金，由中國教育部頒發(fā)（2009年和2010年）

新加坡科技工程中國獎(jiǎng)學(xué)金（2010年，2011年和2012年）

金馳：北大學(xué)子到普林斯頓任教

金馳目前是加州大學(xué)伯克利分校電氣工程與計(jì)算機(jī)科學(xué)（EECS）專業(yè)的6年級(jí)博士生，師從Michael I. Jordan。他也是RISELab和伯克利人工智能研究（BAIR）的成員。在此之前，金馳獲得了北京大學(xué)物理學(xué)學(xué)士學(xué)位，并在王立威教授的指導(dǎo)下完成了本科論文。

金馳的研究興趣在于機(jī)器學(xué)習(xí)、統(tǒng)計(jì)和優(yōu)化。他博士研究的主要目標(biāo)是設(shè)計(jì)更好的學(xué)習(xí)算法，這些算法在理論上是健全的，在樣本復(fù)雜性、運(yùn)行時(shí)間和空間上是有效的。為了實(shí)現(xiàn)這一目標(biāo)，他的研究重點(diǎn)是提供對(duì)非凸優(yōu)化中基本問題的更深入理解，以及最近的強(qiáng)化學(xué)習(xí)。

金馳將于2019年9月加入普林斯頓大學(xué)電氣工程系，擔(dān)任助理教授。他還將參加2019年秋季IAS的“優(yōu)化、統(tǒng)計(jì)和理論機(jī)器學(xué)習(xí)特別年”。

金馳與導(dǎo)師Michael I. Jordan合作的論文：

On Gradient Descent Ascent for Nonconvex-Concave Minimax Problems（關(guān)于非凸 - 凹極小極大問題的梯度下降問題）

Stochastic Gradient Descent Escapes Saddle Points Efficiently（隨機(jī)梯度下降有效地逃脫鞍點(diǎn)）

A short note on concentration inequalities for random vectors with subgaussian norm（關(guān)于具有subgaussian norm的隨機(jī)向量的集中不等式的簡短說明）

Minmax Optimization: Stable Limit Points of Gradient Descent Ascent are Locally Optimal（Minmax優(yōu)化：梯度下降上升的穩(wěn)定極限點(diǎn)是本地最優(yōu)的）

Sampling can be faster than optimization（采樣可能比優(yōu)化更快）

On the local minima of the empirical risk（論經(jīng)驗(yàn)風(fēng)險(xiǎn)的局部極?。?/p>

Is q-learning provably efficient?（q-learning是否可證明有效？）——2018年ICML研討會(huì)“RL探索”最佳論文

Stochastic cubic regularization for fast nonconvex optimization（用于快速非凸優(yōu)化的隨機(jī)三次正則化）

Accelerated gradient descent escapes saddle points faster than gradient descent（加速梯度下降比梯度下降更快地逃脫鞍點(diǎn)）

How to escape saddle points efficiently（如何有效地逃脫鞍點(diǎn)）

Gradient descent can take exponential time to escape saddle points（梯度下降可以采用指數(shù)時(shí)間來逃離鞍點(diǎn)）

更多論文參見金馳谷歌學(xué)術(shù)主頁：

https://scholar.google.com/citations?user=GINhGvwAAAAJ&hl=en

新聞：

2018年10月，在第56屆Allerton大會(huì)上作了受邀演講。

2018年7月，論文“Q-Learning是否可證明有效？”在ICML 2018研討會(huì)“RL探索”中獲得最佳論文獎(jiǎng)。

2018年7月，聯(lián)合舉辦了ICML 2018研討會(huì)“機(jī)器學(xué)習(xí)非凸優(yōu)化的現(xiàn)代趨勢(shì)”。

2017年7月，關(guān)于如何有效逃離鞍點(diǎn)的博客帖子。

教育經(jīng)歷：

2013年至今

加州大學(xué)伯克利分校

計(jì)算機(jī)科學(xué)博士生

2012-2013

多倫多大學(xué)

統(tǒng)計(jì)學(xué)客座學(xué)生

2008-2012

北京大學(xué)

物理學(xué)學(xué)士

實(shí)習(xí)經(jīng)歷：

2016年夏季

微軟研究院，Redmond

Dong Yu研究實(shí)習(xí)生

2015年夏季

微軟研究院，新英格蘭

Sham Kakade研究實(shí)習(xí)生

金馳個(gè)人主頁：

https://sites.google.com/view/cjin/home