李飛飛對計算機視覺(jué)的愿景：World Labs 正為機器提供 3D 空間智能

斯坦福大學(xué)教授李飛飛已經(jīng)在 AI 歷史上贏(yíng)得了自己的地位。她在深度學(xué)習革命中發(fā)揮了重要作用，多年來(lái)努力創(chuàng )建 ImageNet 數據集和競賽，挑戰 AI 系統識別 1000 個(gè)類(lèi)別的物體和動(dòng)物。2012 年，一個(gè)名為 AlexNet 的神經(jīng)網(wǎng)絡(luò )在 AI 研究界引起了震動(dòng)，它的性能遠遠超過(guò)了所有其他類(lèi)型的模型，并贏(yíng)得了 ImageNet 比賽。從那時(shí)起，神經(jīng)網(wǎng)絡(luò )開(kāi)始騰飛，由互聯(lián)網(wǎng)上現在提供的大量免費訓練數據和提供前所未有的計算能力的 GPU 提供支持。

在 ImageNet 問(wèn)世后的 13 年里，計算機視覺(jué)研究人員掌握了對象識別技術(shù)，并轉向圖像和視頻生成。Li 是斯坦福大學(xué)以人為本的 AI 研究所 （HAI） 的聯(lián)合創(chuàng )始人，并繼續突破計算機視覺(jué)的界限。就在今年，她創(chuàng )辦了一家初創(chuàng )公司 World Labs，生成用戶(hù)可以探索的 3D 場(chǎng)景。World Labs 致力于為 AI 提供“空間智能”，即生成 3D 世界、在 3D 世界中進(jìn)行推理和交互的能力。Li 昨天在大型 AI 會(huì )議 NeurIPS 上發(fā)表了關(guān)于她對機器視覺(jué)的愿景的主題演講，并在演講前接受了 IEEE Spectrum 的獨家采訪(fǎng)。

您為什么將演講的題目定為“Ascending the Ladder of Visual Intelligence”？

李飛飛：我認為智能具有不同程度的復雜程度和復雜程度是直覺(jué)的。在演講中，我想傳達這樣一種感覺(jué)，即在過(guò)去幾十年中，尤其是過(guò)去 10 多年的深度學(xué)習革命中，我們學(xué)到的視覺(jué)智能令人嘆為觀(guān)止。我們越來(lái)越有能力使用這項技術(shù)。我還受到了 Judea Pearl 的 “因果階梯” [在他 2020 年的書(shū) The Book of Why] 的啟發(fā)。

該演講還有一個(gè)副標題，“從看到到做”。這是人們不夠欣賞的東西：視覺(jué)與互動(dòng)和做事密切相關(guān)，無(wú)論是對動(dòng)物還是對 AI 代理都是如此。這與語(yǔ)言背道而馳。從根本上說(shuō)，語(yǔ)言是一種用于傳達想法的交流工具。在我看來(lái)，這些是非?；パa但同樣深刻的智能模式。

你的意思是我們本能地對某些景象做出反應嗎？

李：我說(shuō)的不僅僅是直覺(jué)。如果你看一下感知的進(jìn)化和動(dòng)物智能的進(jìn)化，它們就已經(jīng)緊密交織在一起了。每當我們能夠從環(huán)境中獲取更多信息時(shí)，進(jìn)化的力量就會(huì )推動(dòng)能力和智能向前發(fā)展。如果你感覺(jué)不到環(huán)境，你與世界的關(guān)系就非常被動(dòng);你是否吃或被吃是一種非常被動(dòng)的行為。但是，一旦你能夠通過(guò)感知從環(huán)境中獲取線(xiàn)索，進(jìn)化壓力就會(huì )真正增加，從而推動(dòng)智能向前發(fā)展。

您認為這就是我們創(chuàng )建越來(lái)越深入的機器智能的方式嗎？通過(guò)允許機器感知更多的環(huán)境？

李：我不知道“深”是不是我會(huì )用的形容詞。我認為我們正在創(chuàng )造更多功能。我認為它變得越來(lái)越復雜，功能越來(lái)越強大。我認為，解決空間智能問(wèn)題是邁向全面智能的基礎和關(guān)鍵步驟，這是絕對正確的。

我看過(guò) World Labs 的演示。您為什么想要研究空間智能并構建這些 3D 世界？

李：我認為空間智能是視覺(jué)智能的發(fā)展方向。如果我們認真地解決視覺(jué)問(wèn)題并將其與行動(dòng)聯(lián)系起來(lái)，那么有一個(gè)非常簡(jiǎn)單、顯而易見(jiàn)的事實(shí)：世界是 3D 的。我們不是生活在一個(gè)平坦的世界里。我們的物理代理，無(wú)論它們是機器人還是設備，都將生活在 3D 世界中。甚至虛擬世界也變得越來(lái)越 3D。如果您與藝術(shù)家、游戲開(kāi)發(fā)人員、設計師、建筑師、醫生交談，即使他們在虛擬世界中工作，其中大部分都是 3D 的。如果您花點(diǎn)時(shí)間認識到這個(gè)簡(jiǎn)單而深刻的事實(shí)，那么毫無(wú)疑問(wèn)，破解 3D 智能問(wèn)題是根本。

我很好奇 World Labs 中的場(chǎng)景如何保持物體的持久性并符合物理定律。這感覺(jué)像是向前邁出的令人興奮的一步，因為像 Sora 這樣的視頻生成工具仍然在摸索這些東西。

李：一旦你尊重世界的 3D 性，很多事情都是很自然的。例如，在我們發(fā)布在社交媒體上的一個(gè)視頻中，籃球被放入場(chǎng)景中。因為它是 3D 的，所以它允許你擁有這種能力。如果場(chǎng)景只是 2D 生成的像素，籃球將無(wú)處可去。

或者，就像在 Sora 中一樣，它可能會(huì )去某個(gè)地方，但隨后消失了。 在嘗試推動(dòng)這項技術(shù)向前發(fā)展的過(guò)程中，您面臨的最大技術(shù)挑戰是什么？

李： 沒(méi)有人解決這個(gè)問(wèn)題，對吧？這非常非常困難。你可以看到 [在 World Labs 演示視頻中] 我們拍攝了一幅梵高的畫(huà)作，并以一致的風(fēng)格生成了圍繞它的整個(gè)場(chǎng)景：藝術(shù)風(fēng)格、照明，甚至那個(gè)社區會(huì )有什么樣的建筑。如果你轉過(guò)身來(lái)，它變成了摩天大樓，那將完全沒(méi)有說(shuō)服力，對吧？而且它必須是 3D 的。你必須導航到它。所以這不僅僅是像素。

您能談?wù)勀脕?lái)訓練它的數據嗎？

李： 好多。

您是否在計算負擔方面面臨技術(shù)挑戰？

李： 這是大量的計算。這是公共部門(mén)無(wú)法承受的計算類(lèi)型。這就是我很高興能休假的部分原因，以私營(yíng)部門(mén)的方式做這件事。這也是我一直倡導公共部門(mén)計算訪(fǎng)問(wèn)的部分原因，因為我自己的經(jīng)驗強調了在資源充足的情況下進(jìn)行創(chuàng )新的重要性。

賦予公共部門(mén)權力是件好事，因為它通常更受激勵于為了自身而獲得知識，為人類(lèi)的利益而獲得知識。

李： 知識發(fā)現需要資源支持，對嗎？在伽利略時(shí)代，這是讓天文學(xué)家觀(guān)測新天體的最佳望遠鏡。是胡克意識到放大鏡可以變成顯微鏡和發(fā)現的細胞。每當有新的技術(shù)工具出現時(shí)，它都會(huì )幫助人們尋求知識?，F在，在 AI 時(shí)代，技術(shù)工具涉及計算和數據。我們必須認識到公共部門(mén)的這一點(diǎn)。

您希望在聯(lián)邦層面采取什么措施來(lái)提供資源？

李： 這是 Stanford HAI 在過(guò)去五年中的工作。我們一直在與國會(huì )、參議院、白宮、行業(yè)和其他大學(xué)合作，以創(chuàng )建 NAIRR，即國家 AI 研究資源。

假設我們可以讓 AI 系統真正理解 3D 世界，那會(huì )給我們帶來(lái)什么？

李：它將為人們釋放大量的創(chuàng )造力和生產(chǎn)力。我希望以更高效的方式設計我的房子。我知道很多醫學(xué)用途都涉及了解一個(gè)非常特殊的 3D 世界，即人體。我們總是在談?wù)撊祟?lèi)將創(chuàng )造機器人來(lái)幫助我們的未來(lái)，但機器人在 3D 世界中導航，并且它們需要空間智能作為大腦的一部分。我們還討論了虛擬世界，這些世界將允許人們參觀(guān)地方、學(xué)習概念或娛樂(lè )。這些使用 3D 技術(shù)，尤其是混合動(dòng)力車(chē)，我們稱(chēng)之為 AR [增強現實(shí)]。我很想戴著(zhù)一副眼鏡走過(guò)國家公園，它能為我提供有關(guān)樹(shù)木、小徑和云的信息。我也想通過(guò)空間智能的幫助下學(xué)習不同的技能。

什么樣的技能？

李： 我蹩腳的例子是，如果我在高速公路上爆胎了，我該怎么辦？現在，我打開(kāi)了一個(gè)“如何更換輪胎”的視頻。但是，如果我能戴上眼鏡，看看我的車(chē)發(fā)生了什么，然后在指導下完成這個(gè)過(guò)程，那就太酷了。但這是一個(gè)蹩腳的例子。你可以考慮烹飪，你可以考慮雕刻——有趣的事情。

您認為我們在有生之年能走多遠？

李： 哦，我認為這將在我們的有生之年發(fā)生，因為技術(shù)進(jìn)步的速度真的很快。您已經(jīng)看到了過(guò)去 10 年帶來(lái)的一切。這絕對預示著(zhù)接下來(lái)會(huì )發(fā)生什么。