CVPR現(xiàn)場直擊｜1.2萬人涌入的AI頂會(huì)，華人主導(dǎo)的最佳論文
6月17號，美國西雅圖會(huì)議中心，全球計(jì)算機(jī)視覺屆三大頂會(huì)之一的CVPR 2024來了。
大會(huì)持續(xù)一周，目前參加下來最直觀的感受就是熱，太熱：巨大而火熱的信息量，處處爆滿的參會(huì)人群。可以說從走進(jìn)主會(huì)場那一刻起，“人山人海”這個(gè)詞就被具象化了。
而CVPR官方也興奮的宣布：今年的大會(huì)破了參會(huì)記錄，有超過1.2萬人從全世界涌來，人擠人的來參加一個(gè)過往只是“冷門領(lǐng)域”的AI學(xué)術(shù)會(huì)議。
經(jīng)過前兩天密集而硬核的workshop和tutorial，今早8點(diǎn)半，最受關(guān)注的開幕頒獎(jiǎng)環(huán)節(jié)終于在Summit Flex Hall揭曉。
最佳論文開獎(jiǎng)，全與生成式AI有關(guān)
今年CVPR論文提交數(shù)量來到破紀(jì)錄的11532篇，被接收的2719篇中有324篇被選為highlights，90篇較優(yōu)秀的論文進(jìn)入oral，oral里再選出24篇頂尖玩家殺進(jìn)決賽圈終極對決。單看大屏幕的數(shù)據(jù)，現(xiàn)場懸念氛圍就已經(jīng)拉滿，所有人都按捺不住緊張和興奮。
最終，大會(huì)宣布本次總共十篇論文勝出。包括2篇最佳論文獎(jiǎng)（Best Paper）和2篇最佳學(xué)生論文獎(jiǎng)（Best Student Paper），以及代表亞軍級別的2篇最佳論文次優(yōu)獎(jiǎng)（Best Paper Runner Ups）和4篇最佳學(xué)生論文次優(yōu)獎(jiǎng)（Best Student Paper Runner Ups）。
“Generative”，這是今年全球最大計(jì)算機(jī)視覺會(huì)議發(fā)布最佳論文時(shí)，屏幕上出現(xiàn)的第一個(gè)單詞。
毫不意外。
兩篇最佳論文分別花落谷歌研究院的「Generative Image Dynamics」和加州大學(xué)圣迭戈分校的「Rich Human Feedback for Text-to-Image Generation」。兩篇都與圖像生成和模型有關(guān)，不得不說現(xiàn)在AIGC領(lǐng)域真得太火。
谷歌這篇是通過從自然運(yùn)動(dòng)（比如花朵在風(fēng)中搖晃）的真實(shí)視頻里學(xué)習(xí)運(yùn)動(dòng)規(guī)律，開發(fā)出一個(gè)能基于任何靜止圖像預(yù)測并合成逼真運(yùn)動(dòng)效果的AI模型，簡言之就是讓照片"動(dòng)"起來。
UCSD的論文從數(shù)據(jù)入手，先對人工標(biāo)注的反饋數(shù)據(jù)進(jìn)行細(xì)致收集，再由此訓(xùn)練一個(gè)AI模型來評估和改進(jìn)圖像質(zhì)量，令生成的圖像更貼合文字描述——后來得知，這是該作者團(tuán)隊(duì)的第一篇CVPR論文，而且主要成員都是華人。初次闖關(guān)就拔得頭籌，確實(shí)讓人刮目相看。
兩篇最佳學(xué)生論文獎(jiǎng)則被德國圖賓根大學(xué)的「Mip-Splatting: Alias-free 3D Gaussian Splatting 」和俄亥俄州立大學(xué)的「BioCLIP: A Vision Foundation Model for the Tree of Life」團(tuán)隊(duì)捧走。前者提出了一種新的3D建模和濾波方法，能解決不同縮放下生成3D圖像可能存在的瑕疵和失真問題。后者整理出目前規(guī)模最大、生物多樣性最豐富的機(jī)器學(xué)習(xí)圖像數(shù)據(jù)集，基于此開發(fā)的BioCLIP模型專門從圖像識(shí)別中提取生物學(xué)知識(shí)。
此前麻省理工學(xué)院呼聲很高的論文「pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction」拿到了最佳論文次優(yōu)獎(jiǎng)，也算沒空手而歸。
另一家Best Paper Runner Ups得主是來自國內(nèi)的北京大學(xué)團(tuán)隊(duì)。他們在「EventPS: Real-Time Photometric Stereo Using an Event Camera」論文中提出一種事件相機(jī)只需要在光線變化時(shí)捕捉信息，就能快速精確估計(jì)出物體表面朝向，而無需拍攝多張照片的新方法，非常適合需要快速響應(yīng)的實(shí)時(shí)應(yīng)用場景。當(dāng)北大的名字出現(xiàn)在舞臺(tái)大屏幕上時(shí)，現(xiàn)場好多華人觀眾們都禁不住振奮鼓掌，自己人拿獎(jiǎng)，內(nèi)心還是很激動(dòng)的。
最后，四篇最佳學(xué)生論文Runner Ups也相繼出爐。北京大學(xué)與華為諾亞方舟實(shí)驗(yàn)室合著的「Image Processing GNN: Breaking Rigidity in Super-Resolution」再次榜上有名。另外三家是俄勒岡州立大學(xué)、波恩大學(xué)、卡內(nèi)基梅隆大學(xué)。研究方向涵蓋了Transformer和卷積神經(jīng)網(wǎng)絡(luò)、3D形狀匹配、隨機(jī)幾何建模以及圖神經(jīng)網(wǎng)絡(luò)。
逛Poster Session如趕集，作者“連講4小時(shí)沒顧上喝水”
今天起，包括這些獲獎(jiǎng)?wù)撐脑趦?nèi)的90篇 oral 都被安排進(jìn)各分會(huì)場開啟口頭報(bào)告。除了Oral Session這種PPT展示的傳統(tǒng)演講形式外，還有2305篇論文被分配到了Poster Session，即海報(bào)展示環(huán)節(jié)。
在硅谷大廠發(fā)布會(huì)中不常見的Poster Session，實(shí)則是國際大型學(xué)術(shù)會(huì)議的重要組成部分。
研究人員們把自己的論文制作成圖文并茂的學(xué)術(shù)海報(bào)，張貼在固定區(qū)域展示研究成果。好處是不受時(shí)間限制，可以全天候駐場，跟參會(huì)者們面對面討論。尤其適合新入學(xué)術(shù)圈的研究生和年輕學(xué)者增加曝光機(jī)會(huì)，也是結(jié)識(shí)同行、交流經(jīng)驗(yàn)的重要social場合。
就像你參加過的任何一場貿(mào)易交流銷售大會(huì)一樣，這里的人們也在尋找“推銷”自己和自己的研究的機(jī)會(huì)，無論是為自己尋找好的工作機(jī)會(huì)還是吸引來趣味相投的潛在合作者，Poster環(huán)節(jié)都熱鬧而生機(jī)勃勃。
Poster Session的熱鬧程度不亞于Oral房間，逛下來也是摩肩接踵的人擠人。大會(huì)休息間隙幾乎整個(gè)區(qū)域每張海報(bào)前都圍了人問問題。
有位作者就笑稱，給論文海報(bào)站臺(tái)比做演講累多了，“因?yàn)閛ral再重要也是只講一遍，可poster來人就要重新講一遍，問題也可能回答好幾輪。”
當(dāng)然大家都樂在其中。幾位國內(nèi)來的年輕學(xué)者們特別提到，雖然今天中美之間在AI、計(jì)算機(jī)等領(lǐng)域并不完全透明，但在CVPR現(xiàn)場遇到的每個(gè)人、不論國籍都十分樂于交流，擁抱學(xué)術(shù)開源。
在這樣的背景下，語言也不再是壁壘，“開始還有點(diǎn)不自信，但真聊起來發(fā)現(xiàn)，依靠自己平時(shí)專業(yè)積累完全可以輸出想法，交換觀點(diǎn)”，“本來以為說一會(huì)兒就完事，結(jié)果連講4個(gè)小時(shí)沒顧上喝水。”如果說產(chǎn)業(yè)界還有些浮躁、焦慮或芥蒂，學(xué)術(shù)界則更偏向于敞開心胸，共享知識(shí)進(jìn)步。
不過有意思的是，也有些業(yè)界大哥略顯內(nèi)斂。比如特斯拉、Waymo、Zoox這次提交的論文都很少，不知是自動(dòng)駕駛行業(yè)今年挑戰(zhàn)巨大成果難出，還是競爭激烈有意藏一手。畢竟這條賽道的商業(yè)化之路不容易，維護(hù)技術(shù)護(hù)城河也是情理之中。
變化中的CVPR，AI風(fēng)暴眼中FOMO的人們
想來從上周末開始，就陸續(xù)聽聞同行舊友們從世界各地飛抵西雅圖塔科馬機(jī)場。會(huì)程中，市中心酒店、餐廳、街邊聚集每天都有自帶學(xué)術(shù)氣息的人群聚集，其中很多朝氣蓬勃的華人面孔，成了這座尚未完全解鎖夏天的城市一道熱鬧的風(fēng)景線。生成式AI全面嵌入生產(chǎn)生活，也讓更多人記住了CVPR這個(gè)歷史悠久、硬核而神秘的學(xué)術(shù)頂會(huì)名字。
偌大幾層樓的會(huì)場里，前兩天已跑斷腿：100多場密集排滿的工作坊和教程，主題橫跨生成模型、人類理解、醫(yī)療視覺、3D/4D建模，神經(jīng)渲染、多模態(tài)、開放世界學(xué)習(xí)、通用AI代理….
好多場次是從早上8點(diǎn)一直進(jìn)行到下午6點(diǎn)。但即便你一早到場，也未必能擠得進(jìn)去：幾乎所有workshop的房間都很快滿員。特別是那些AI相關(guān)的火熱領(lǐng)域，或是Meta、OpenAI、LumaAI這些明星公司，瞬間就被圍得水泄不通。人群中、空氣里，彌漫的都是求知欲、交流欲和強(qiáng)烈的FOMO情緒。
主辦方為了人均有座位控制人數(shù)，滿員就不再放人。想聽只得在門口等，出一進(jìn)一。于是許多門前都排起了望眼欲穿、等待補(bǔ)位的長隊(duì)。
勉強(qiáng)擠進(jìn)「AI for Content Creation」房間。內(nèi)容生成本就堪稱最熱門主題之一，這場又集合了OpenAI Sora團(tuán)隊(duì)研究主管Tim Brooks, 南洋理工教授Ziwei Liu等業(yè)界大牛。
作為破了記錄第一次有1.2萬人涌入的學(xué)術(shù)大會(huì)，CVPR的主辦方顯然一開始也有點(diǎn)招架不住。起初他們拒絕讓更多人進(jìn)入沒有座位的worksho講廳，后來隨著社交媒體上的抱怨聲多了，也做了調(diào)整。
主辦方終于多放了些觀眾進(jìn)來，席地而坐或站在過道聽。午餐時(shí)間來到干飯現(xiàn)場，不小心再次接受了洗禮：一屋子膚色各異的研究員們，愣是吃出了氣勢磅礴的軍訓(xùn)的氣勢。嗯，學(xué)術(shù)頂會(huì)是這樣的~
記得今天開幕環(huán)節(jié)，主辦方介紹這屆CVPR大會(huì)的注冊觀眾有來自76個(gè)國家和地區(qū)的12000人。來自美國的數(shù)目最多有5074人，緊隨其后的就是來自中國的1511人。
而各種業(yè)界大神和隱藏大神也參與其中，于是好多小伙伴技術(shù)追星成功。
總體來說，不論是現(xiàn)場參會(huì)，還是看這屆所有獲獎(jiǎng)和接受論文，明顯感覺到生成式AI的爆火，特別是今年Sora打頭陣的視頻生成模型們，真正把「計(jì)算機(jī)視覺」推上了前所未有的熱度高峰。
而CV也在被Sora們徹底“改造”著，這也讓CV界有不少的爭論。有人認(rèn)為隨便一個(gè)論文帶上生成式的概念就能在今年爆火，而一些真正在CV領(lǐng)域長期耕耘的學(xué)者和他們略顯“過時(shí)”的研究就被冷落了。
CV領(lǐng)域的大神何愷明就缺席了本次CVPR，他是ResNet這個(gè)計(jì)算機(jī)視覺領(lǐng)域的流行架構(gòu)的提出者，相關(guān)論文的引用數(shù)量突破20萬次，曾經(jīng)多次獲得CVPR最佳論文獎(jiǎng)。而今年是2009年以來，第一次沒有何愷明參與的論文入選的一次CVPR。與此同時(shí)的另一個(gè)數(shù)據(jù)是，今年結(jié)合語言和視覺的論文增加了兩倍，擴(kuò)散模型和生成模型論文增加了三倍。那些有OpenAI Sora作者參加的workshop，排隊(duì)排出了明星見面會(huì)的效果，很多人抱怨還不如花這個(gè)時(shí)間去西雅圖citywalk一下。
大模型時(shí)代也讓產(chǎn)業(yè)界與學(xué)術(shù)界的發(fā)力方向高度集中。圖像和視頻等內(nèi)容生成成為最熱門研究領(lǐng)域，三維視覺和人體行為識(shí)別、語言與語言推理不遑多讓，多模態(tài)信息融合和高層次語義理解受到空前關(guān)注。
但生成式帶來的沖擊也徹底讓CV走上了巔峰。而每一個(gè)參會(huì)的人都處在某種FOMO（害怕錯(cuò)過）的情緒里，他們知道屬于自己的機(jī)會(huì)來了，又害怕研究方向或者工作方向跟不上技術(shù)的變化，一切過往的積累可能頃刻失去價(jià)值，一切過去的落后又可能瞬間被抹平。
另外，雖然這次中國團(tuán)隊(duì)沒有續(xù)寫去年上海人工智能實(shí)驗(yàn)室和商湯等團(tuán)隊(duì)合作拿下最佳論文的佳績。但細(xì)看四篇最佳，谷歌論文一作是 DeepMind 研究員 Zhengqi Li，UCSD論文前四位作者都是華人，包括Runner Ups得主中的兩篇北大出品，核心作者里華人名字其實(shí)比比皆是。
而上海人工智能實(shí)驗(yàn)室教授Yu Qiao、騰訊杰出科學(xué)家Ying Shan、南陽理工大學(xué)大牛教授Ziwei Liu位列最多接受論文作者榜前三名。清華、浙大、北大則在接受論文單位中領(lǐng)先群雄?？梢姴徽揂I大潮怎么風(fēng)起云涌，在計(jì)算機(jī)視覺這類硬核領(lǐng)域的科研前線，華人學(xué)者及中國研究團(tuán)隊(duì)仍是帶來最大貢獻(xiàn)的那股力量。而對于無論來自哪里的學(xué)者和研究者，CVPR這樣的密切交流是所有人都需要的。????
本文轉(zhuǎn)自于 新浪 微博
