特斯拉自動(dòng)駕駛之父離職教“網(wǎng)課“，AI大佬原來(lái)都這么熱愛(ài)授業(yè)解惑
加入技術(shù)交流群
幾年前，斯坦福大學(xué)博士生 Andrej Karpathy 做了一件令 AI 社區非常敬佩的事情：在學(xué)校里創(chuàng )辦了一門(mén)深度學(xué)習本科課程，并且將視頻全部免費公開(kāi)。
作為深度學(xué)習的早期研究者和教育者之一，Karpathy ****對了方向。經(jīng)過(guò)十多年的快速發(fā)展和技術(shù)創(chuàng )新，現在深度學(xué)習技術(shù)已經(jīng)驅動(dòng)著(zhù)搜索、圖像識別、社交網(wǎng)絡(luò )、工業(yè)自動(dòng)化、自動(dòng)駕駛等諸多關(guān)鍵領(lǐng)域和產(chǎn)業(yè)。
由于研究成就突出，Karpathy 自己也成為了應用 AI 技術(shù)發(fā)展的受益者，走出學(xué)術(shù)進(jìn)入業(yè)界的第一份工作，就是特斯拉的特斯拉出任 AI 部門(mén)總監，領(lǐng)導 Autopilot 以及整個(gè)特斯拉自動(dòng)/輔助駕駛技術(shù)項目的研發(fā)，并帶領(lǐng)公司深入到了機器人等更多前沿領(lǐng)域。
上個(gè)月，Karpathy 宣布從特斯拉正式離職。
當人們還在關(guān)注他下一站要去哪，他卻毫無(wú)意外地“重操舊業(yè)”，當起了“老師”。
/ 把“錘子”交到每個(gè)人的手上 /
就在上周，Karpathy 重新啟用了注冊了多年但從沒(méi)用過(guò)的 YouTube “小號”，發(fā)布了一條長(cháng)達2個(gè)半小時(shí)的教學(xué)視頻，題為《手把手帶你入門(mén)神經(jīng)網(wǎng)絡(luò )和反向傳播：構建 micrograd”》。
他表示，關(guān)于反向傳播（神經(jīng)網(wǎng)絡(luò )的基礎算法之一）以及構建神經(jīng)網(wǎng)絡(luò )的工作，這條視頻是目前為止門(mén)檻最低、最全面的講解。他還宣稱(chēng)，只要觀(guān)眾對 Python 有基礎了解，并且還記得一點(diǎn)高中水平的微積分，就可以輕松入門(mén)：
“如果看完還不了解反向傳播和神經(jīng)網(wǎng)絡(luò )的核心，那我就直播吃鞋
”
圖片來(lái)源：Andrej Karpathy通過(guò)這門(mén)課，Karpathy 用基本的 Python 編程方法，以及他自己開(kāi)發(fā)的 Micrograd 引擎，帶著(zhù)大家完成神經(jīng)網(wǎng)絡(luò )構建、編寫(xiě)損失函數、手動(dòng)調優(yōu)等基礎操作，并且在過(guò)程中對反向傳播等關(guān)鍵知識進(jìn)行了系統的介紹。
至于授課風(fēng)格，Karpathy 也是非常理解當代年輕工程師在寫(xiě)代碼時(shí)候的煩惱，貫徹了"talk is cheap, show me the code"的理念：整堂課的大部分時(shí)間基本就是在直播自己的屏幕畫(huà)面，手把手教大家寫(xiě)代碼……
圖片來(lái)源：Andrej Karpathy / YouTubeKarpathy 曾在多倫多大學(xué)、斯坦福大學(xué)就讀，師從的 Geoff Hinton、李飛飛教授都是當今深度學(xué)習的領(lǐng)軍人物。他也是 OpenAI 的創(chuàng )始成員之一，曾在早期的谷歌大腦、Google Research、DeepMind 等知名研究機構實(shí)習。作為深度學(xué)習領(lǐng)域的知名學(xué)者和從業(yè)者，Karpathy 出鏡相當頻繁，經(jīng)常在 CVPR、NeurIPS 等知名學(xué)術(shù)會(huì )議的上發(fā)表論文和演講，還曾作為英偉達 Geforce 技術(shù)大會(huì )主演講嘉賓。
頗為搞笑的是，在2014年，他曾經(jīng)以自己的“血肉之軀”，在 ImageNet 挑戰賽上對一個(gè)卷積神經(jīng)網(wǎng)絡(luò )發(fā)起了挑戰，并且獲得了勝利，因此被學(xué)術(shù)界和行業(yè)里戲稱(chēng)為 ImageNet 的“人類(lèi)基準” (the human benchmark of ImageNet)。
圖片來(lái)源：Andrej Karpathy然而很多人對 Karpathy 印象最深，最感激他的，反而是他在博士就讀期間做的一件大善事：
創(chuàng )辦了 CS231n，斯坦福第一門(mén)面向本科生的深度學(xué)習課程。
圖片來(lái)源：Andrej Karpathy、斯坦福大學(xué)CS231n 以計算機視覺(jué)為主要方向，****探討深度學(xué)習技術(shù)，創(chuàng )課第一年就有總計150名學(xué)生報名，到了2016年翻了一倍，次年又再翻了一倍。目前這門(mén)課已經(jīng)成為了斯坦福校內所有院系里報名人數最多、最受歡迎的課程之一。課程的 TA 都有16人；和 Karpathy 一起創(chuàng )課的李飛飛，至今仍在擔任主講人。
更重要的是，從創(chuàng )課的第二年，Karpathy 就把 CS231n 的授課視頻、講義、作業(yè)、筆記等大量相關(guān)資源全部公開(kāi)，放在互聯(lián)網(wǎng)上。不止是報名的學(xué)生，就算沒(méi)報名上的、其它院校的學(xué)生，乃至于世界上的任何人，只要有網(wǎng)絡(luò )，就可以免費上課。
再往前推五年，隨著(zhù) Udacity、Coursera 等公司的成立，“慕課” (MOOC) 的理念早已廣為人知。在這些知名公司的平臺上，也有著(zhù)不少計算機科學(xué)和機器學(xué)習方面的課程。
然而 CS231n 的橫空問(wèn)世，特別是它更加先進(jìn)和實(shí)時(shí)的課程設計，以及沒(méi)有任何商業(yè)味道的開(kāi)放屬性，使其成為了前沿深度學(xué)習技術(shù)向全社會(huì )普及的關(guān)鍵節點(diǎn)。
圖片來(lái)源：Andrej Karpathy、斯坦福大學(xué)
關(guān)于為何要免費開(kāi)放課程，Karpathy 曾經(jīng)表示，自己在當時(shí)非常強烈地感覺(jué)到深度學(xué)習將會(huì )成為具有巨大革命性意義的技術(shù)，有望在社會(huì )的各方各面得到廣泛運用，就像一把好用的錘子。
但是在當年，很多人連錘子都“買(mǎi)不起”，更別提了解它的能力和掌握它的用法——是他決定站出來(lái)，做這個(gè)給大家免費發(fā)放錘子的人。
這門(mén)課最有意思的體驗，在于它沒(méi)有一個(gè)提前定好、絕不偏離的課程設置：
“別的科目上課，講的可能是19世紀的知識。在我們的課上，經(jīng)常今天講的論文是上周，甚至昨天剛剛發(fā)表的，”Karpathy 說(shuō)到，“我們講的不是核物理，不是上太空，你只需要基本的微積分和代數知識，就可以聽(tīng)懂我們的課程，了解和掌握當下正在發(fā)生的新事物。每次的課程都在改變，感受非常不一樣，但是大家都非常享受這樣的體驗?！?/span>
由于創(chuàng )課當時(shí) Karpathy 還是一位博士生，當老師確實(shí)占用了他大量的時(shí)間和精力。每年教兩次，每次四個(gè)月，一到上課的那段時(shí)間，他都不得不開(kāi)動(dòng)120%的精力，甚至博士學(xué)位的相關(guān)研究工作都不得不停擺。
“盡管如此，我還是覺(jué)得這門(mén)課是我讀博期間的高光時(shí)刻?！?/span>
Andrej Karpathy 圖片來(lái)源本人
如果簡(jiǎn)單瀏覽一遍 Karpathy 的履歷，一般人可能不會(huì )以為他是一個(gè)教學(xué)型的學(xué)者。但實(shí)際上他真的特別熱衷于傳道授業(yè)解惑，特別是給大家分享他本人的學(xué)習結果，和掌握技能的獨特經(jīng)驗。
他曾經(jīng)以博士生過(guò)來(lái)人的身份寫(xiě)過(guò)一些經(jīng)驗談，發(fā)表在斯坦福官網(wǎng)以及個(gè)人播客上。比如對于本科生備戰考試，他真誠告誡大家“熬夜不值”、“多找多換 TA”、“備考初期自學(xué)，考前多交流”等。而對于糾結是否讀博的學(xué)生，他專(zhuān)門(mén)寫(xiě)過(guò)一篇“博士生存指南”萬(wàn)字文，從前期準備、導師選擇、研究課題、著(zhù)述發(fā)表、學(xué)術(shù)演講等諸多方面，分享了大量的指導思想和具體經(jīng)驗……
圖片來(lái)源：Andrej Karpathy如果你以為他只講深度學(xué)習，那就太小看人家了：
對于非本專(zhuān)業(yè)的內容，他也會(huì )用自己的業(yè)余時(shí)間，做長(cháng)期、系統性的研究和測試，然后寫(xiě)成文章。比如他在 GitHub 賬號上曾經(jīng)寫(xiě)過(guò)一篇“生物黑客”的文章，分享了自己在體育鍛煉、斷食、血液檢測、體能****物、睡眠研究等方面做過(guò)的測試經(jīng)驗。
少為人知的是，Karpathy 還是一個(gè)專(zhuān)業(yè)的魔方老師……
在解魔方這件事上他有一個(gè) alter ego，名叫 Badmephisto。他有一個(gè)專(zhuān)門(mén)講授魔方知識的網(wǎng)站，做過(guò)一個(gè)教你如何解魔方的 app（iPhone & Android），還在 YouTube 上傳了大量教學(xué)視頻，總共有900多萬(wàn)觀(guān)看量……
老哥可真是上課上癮啊……
Karpathy 在谷歌實(shí)習期間內部渠道搞到了一臺 Google Glass，錄制了這段在自行車(chē)上解魔方的視頻 動(dòng)圖來(lái)源：Andrej Karpathy/ AI 大佬都愛(ài)講課 /
值得注意的是，不止 Karpathy，深度學(xué)習/AI 領(lǐng)域的大佬級別人物，都特別愛(ài)“講課”。
這么說(shuō)確實(shí)有點(diǎn)廢話(huà)文學(xué)了……因為這些大佬當中，很多人本身就在知名院校有著(zhù)常規或終身教職，一部分進(jìn)入工業(yè)界的人士，之前也有很強學(xué)術(shù)和教學(xué)背景。但他們即使現在在工業(yè)界身居高位忙到不行，仍然對深度學(xué)習知識的傳播和普及充滿(mǎn)熱情。
比如 Karpathy 在多倫多大學(xué)的老師 Geoff Hinton 教授。他是反向傳播等深度學(xué)習核心算法的發(fā)明人，深度學(xué)習領(lǐng)域的“三劍客”之一，圖靈獎獲得者。有這樣一種對于他的評價(jià)：當其他人還在質(zhì)疑機器/深度學(xué)習的時(shí)候，Hinton 在多倫多一邊默默地教書(shū)，一邊持續著(zhù)研究推進(jìn)，終于以一己之力復活了機器學(xué)習研究和行業(yè)，堪稱(chēng)深度學(xué)習之父。
自從創(chuàng )立的 DNNResearch 公司于2013年被谷歌收購，Hinton 在谷歌一直有職位，但實(shí)際上他的主要研究工作還是在多倫多大學(xué)的計算機科學(xué)系。雖然近年來(lái)他已經(jīng)不怎么講常規課程了，但他仍然會(huì )花很多時(shí)間和精力，指導學(xué)生研究和參與論文寫(xiě)作。并且，他也參與錄制了一些深度學(xué)習神經(jīng)網(wǎng)絡(luò )方面的免費網(wǎng)課內容。
截圖來(lái)源：Coursera“三劍客”的另外兩位成員 Yoshua Benjio 和 Yann LeCun，也有各自的教職。
Bengio 是蒙特利爾大學(xué)教授，也創(chuàng )辦了 Mila 人工智能研究所并擔任科學(xué)總監。他至今仍在學(xué)校和 Mila 研究所帶領(lǐng)和指導著(zhù)大量的研究生、博士生和博士后研究員。他經(jīng)常參加各種外部機構的演講和授課邀請，之后的視頻也都會(huì )公開(kāi)在網(wǎng)上。
LeCun 在 Meta 擔任副總裁兼首席AI科學(xué)家，還是紐約大學(xué)電氣和計算機工程系教授。他曾經(jīng)誠懇地表示過(guò)，自己可能沒(méi)有辦法及時(shí)查收和回復學(xué)校郵箱和電話(huà)留言。不過(guò)，至少去年他還在紐約大學(xué)的數據科學(xué)中心 (NYU-CDS) 教深度學(xué)習的相關(guān)課程。另外因為疫情等原因，NYU-CDS 的所有由 LeCun 教授的深度學(xué)習課程，在2020年也都完全線(xiàn)上化并免費公開(kāi)了：
視線(xiàn)轉回國內，前幾年離職回校教書(shū)的原騰訊 AI Lab 主任張潼，也是一個(gè)有趣的例子。他是機器學(xué)習領(lǐng)域知名的國際專(zhuān)家，曾經(jīng)在美國大學(xué)拿到終身教職，在 IBM 研究院、雅虎研究院、百度 IDL 擔任研究和管理方面的高級別職位，還是 ICML、NIPS 等一系列國際頂級學(xué)術(shù)會(huì )議的主席或領(lǐng)域主席。然而可能是因為更享受教書(shū)和學(xué)術(shù)界的環(huán)境，張潼在2019年初離開(kāi)了騰訊 AI Lab，來(lái)到了港科大數學(xué)系和計算機科學(xué)工程系，直接就拿到了專(zhuān)為特別杰出且成就非凡的學(xué)者才設立的講席教授 (chair professor) 資格。
當然他也沒(méi)有完全離開(kāi)業(yè)界，在港科大和創(chuàng )新工場(chǎng)之間牽線(xiàn)搭橋，幫助兩家機構成立了聯(lián)合實(shí)驗室，專(zhuān)注于基礎科研?，F在的他，在港科大做研究、帶學(xué)生，這一學(xué)期還教了 COMP6211E 和 MATH6450J 兩個(gè)和機器學(xué)習優(yōu)化相關(guān)的課程。
這些熱愛(ài)傳道授業(yè)解惑的頂尖學(xué)者讓我們看到：即便在高度商業(yè)化的今天，一項技術(shù)、一種知識，仍然可以通過(guò)教育這種古典的形式，加上“免費網(wǎng)課”的創(chuàng )新手段，來(lái)完成更高效、更具公益性的普及。
這樣的大佬們，請多來(lái)點(diǎn)，不要停。
注：封面圖來(lái)自于斯坦福大學(xué)網(wǎng)站，版權屬于原作者。如果不同意使用，請盡快聯(lián)系我們，我們會(huì )立即刪除。
*博客內容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀(guān)點(diǎn)，如有侵權請聯(lián)系工作人員刪除。
