打開熟悉的購物 App，在搜索欄輸入想要買的東西，有時候你會發(fā)現(xiàn)文字不能很好地匹配你想要找的東西，用一張圖片來搜索更簡單直接。這種“以圖搜圖”的操作基本上所有電商平臺現(xiàn)在都支持了，效果也還不錯。以京東 App 為例，筆者在搜索框輸入下圖，得到結(jié)果如右圖所示，是筆者想要的多肉植物沒錯。

用起來很方便，但你可能不知道的是，這簡單的搜索動作背后，卻是復雜的計算機視覺技術(shù)在提供支持，甚至用到了圖像內(nèi)容、文本和高層語義屬性等多個模態(tài)下的信息融合，來實現(xiàn)精準的以圖搜圖。

當然，拍照購只是京東電商的眾多應(yīng)用之一，跨模態(tài)技術(shù)應(yīng)用還有很多，比如推薦和信息流廣告，內(nèi)容審核也可以結(jié)合海量的商品圖像與對應(yīng)的商品語義屬性，學習圖像語義特征表達。另外，我們在使用京東 App 時可能都有過被智能客服接待的經(jīng)歷，這背后的技術(shù)，就是在任務(wù)驅(qū)動型的多輪對話中融入視覺到語言的跨模態(tài)轉(zhuǎn)換技術(shù)，讓智能客服可以自動地對用戶上傳的圖片或視頻進行自動應(yīng)答。

在物流場景，京東也成功地將視頻分析技術(shù)應(yīng)用于物流園區(qū)作業(yè)人員行為規(guī)范管理中，特別是針對監(jiān)控視頻的站點環(huán)境、攝像頭角度和成像條件差異性較大等難點，京東采用了自研的基于局部——全局傳播網(wǎng)絡(luò)的通用視頻特征以及高效視頻事件時序檢測框架，并融入了跨域?qū)W習技術(shù)，實現(xiàn)了同時在幾百個不同的站點中全天候的作業(yè)人員操作行為實時檢測，有效地管理了物流作業(yè)人員在各個站點的工作規(guī)范。

可能會有人好奇，這背后的多模態(tài)技術(shù)在京東電商和物流場景中具體是如何實現(xiàn)的，多模態(tài)技術(shù)在電商和物流中還有哪些熱門的落地應(yīng)用，多模態(tài)技術(shù)本身當前發(fā)展到哪一步了，目前發(fā)展遇到了哪些瓶頸，未來又將向哪些方向發(fā)展，等等。

帶著這些問題，CSDN 邀請到了京東 AI 研究院算法科學家姚霆博士，來為我們答疑解惑。

師從多媒體領(lǐng)域領(lǐng)軍人物Chong-Wah Ngo

姚霆本科和碩士畢業(yè)于中國科學技術(shù)大學，博士就讀于香港城市大學，師從 ACM 杰出科學家，也是多媒體領(lǐng)域的領(lǐng)軍人物之一 Chong-Wah Ngo 教授。博士畢業(yè)后，他加入微軟亞洲研究院任職研究員，主研計算機視覺。2018 年 6 月，姚霆加入京東 AI 研究院，擔任算法科學家，負責領(lǐng)導京東視覺與多媒體實驗室的視覺內(nèi)容分析團隊，研究方向主要關(guān)注視頻內(nèi)容理解、視覺與語言，以及大規(guī)模多媒體內(nèi)容搜索。

姚霆在 CVPR/ICCV/ECCV/AAAI/SIGIR/ACM MM/TIP/TMM 等頂級會議/期刊上已發(fā)表論文 50 余篇（引用率 3600 余次），現(xiàn)任多媒體領(lǐng)域頂級學術(shù)期刊 IEEE Transactions on Multimedia 期刊編委。值得一提的是，姚霆還是 P3D ResNet（視頻特征學習）、LSTM-A（圖像語義屬性）、GCN-LSTM（圖像物體關(guān)系）、HIP（圖像分層解析）、X-LAN（高階注意力機制） 的作者和計算機視覺領(lǐng)域重要數(shù)據(jù)集MSR-VTT（視頻描述生成） 的創(chuàng)建人，曾帶領(lǐng)團隊獲得多項視頻內(nèi)容理解和跨域?qū)W習競賽冠軍，是當之無愧的學術(shù)帶頭人。

實際上，姚霆不僅在學術(shù)上成果頗豐，在京東也有更多機會將實驗室的研究成果落地。

在這里，AI 研究院計算機視覺和多媒體實驗室主要有 4 個研究方向：人臉計算、人體分析、圖像理解和視頻分析，而姚霆所帶領(lǐng)的視覺內(nèi)容分析團隊主要關(guān)注兩個方向，即視頻內(nèi)容理解和視覺與語言。前者包括從底層的針對視頻理解的神經(jīng)網(wǎng)絡(luò)設(shè)計，視頻特征表達學習，到視頻動作/事件識別，動作定位和檢測，視頻語義分割，視頻描述生成等全棧式的分析維度，后者則集中在圖像/視頻的語義特征學習，視覺與語言的特征交互，以及跨模態(tài)的預(yù)訓練課題。

以學術(shù)研究帶動產(chǎn)業(yè)落地，正是姚霆所帶領(lǐng)的團隊要做的事，在多模態(tài)技術(shù)研究上，這支團隊一直嘗試多模態(tài)領(lǐng)域有所突破，比如近期該實驗室在視覺與語言方向提出了一個全新的高階注意力機制（X-linear Attention Block），首次將其融入至圖像描述生成任務(wù)中，主要的技術(shù)創(chuàng)新是打破了傳統(tǒng)注意力機制中一階的特征交互限制，通過所設(shè)計的高階注意力機制可以靈活地捕捉不同模態(tài)間高階乃至無窮階的特征交互，大大提升了視覺到語言的跨模態(tài)轉(zhuǎn)換性能。這個注意力機制在 COCO 在線測試集上達到世界領(lǐng)先的水平，并被 CVPR 2020 接收。

在視頻內(nèi)容理解課題上，實驗室在 2019 年提出了局部——全局傳播（LGD）網(wǎng)絡(luò)。這種全新的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計另辟蹊徑地在傳統(tǒng)三維卷積網(wǎng)絡(luò)基礎(chǔ)上引入了對全局信息的獨立建模，提升了視頻基礎(chǔ)特征的描述能力。此外，不同于現(xiàn)有的由人工設(shè)定的視頻網(wǎng)絡(luò)結(jié)構(gòu)，實驗室還創(chuàng)新性地提出了基于可微分結(jié)構(gòu)搜索的視頻網(wǎng)絡(luò)結(jié)構(gòu)自動搜索方法（SDAS），從而在視頻數(shù)據(jù)上讓機器自動地學習和設(shè)計針對視頻內(nèi)容理解的網(wǎng)絡(luò)結(jié)構(gòu)，同時也可以在搜索過程中加入對于運行效率的約束，以定制化地搜索最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。

多模態(tài)表示學習、模態(tài)轉(zhuǎn)化等“老大難”問題怎么解決？

保持技術(shù)創(chuàng)新的過程中，姚霆團隊很清楚地意識到，多模態(tài)在技術(shù)層面一定繞不過一些難以解決的“老大難”問題，比如多模態(tài)表示學習、模態(tài)轉(zhuǎn)化、多模態(tài)融合、跨模態(tài)分析、跨域?qū)W習，就是幾個典型的挑戰(zhàn)。針對這些問題，京東其實提出了一些有效的方法，也許對相關(guān)領(lǐng)域的研究人員和學習者有一定借鑒意義。

在多模態(tài)表示和跨模態(tài)轉(zhuǎn)化方向，姚霆以視覺和語言方面舉例，2017 年在圖像特征表達方面融入了高層語義特征，以增強所生成語言描述和圖像的語義一致性；2018 年則更進一步挖掘了圖像中物體和物體間的語義空間關(guān)系，構(gòu)建出物體間語義和空間的關(guān)系圖，從而促進對圖像內(nèi)容的深層次理解。然而，盡管物體間關(guān)系圖有效地引入了物體間關(guān)系的語義信息，但依然無法充分表達整個圖像所包含的豐富語義，所以在 2019 年，京東又提出了一種多層次的樹形語義結(jié)構(gòu)，它囊括了從語義分割后的物體實例到檢測后的物體區(qū)域再到整個圖像的不同層級之間的語義信息。通過這樣一種樹形結(jié)構(gòu)，可以有效地對物體不同層次間語義關(guān)聯(lián)性進行編碼，從而最終生成更為精準的描述文本。

這一系列工作的研究脈絡(luò)基本都是圍繞著在跨模態(tài)轉(zhuǎn)化過程中不斷強調(diào)對視覺內(nèi)容的理解，而語言建模部分都是采用通用的 RNN 或 Transformer 類似的結(jié)構(gòu)來實現(xiàn)。不同于這一研究脈絡(luò)，在今年京東最新的工作中，他們在上文中提到的高階注意力機制則逐漸聚焦于視覺內(nèi)容和語言建模這兩者之間的特征交互，希望可以通過不同模態(tài)間基于高階的信息交互，讓兩者成為相互促進的整體。

跨域?qū)W習也是京東另一個持續(xù)關(guān)注的研究方向。姚霆解釋到，因為跨域?qū)W習可以很好地提升模型在不同場景下的泛化能力，并且無需更多目標場景下的人工標注就能實現(xiàn)模型在不同域下的遷移，這與京東在各種實際場景中快速進行模型落地的需求吻合。所以，針對跨域?qū)W習，京東在廣度和深度上都有一些研究。

首先在廣度上，京東研究了如何在圖像整體特征級別、局部區(qū)域級別和像素級別進行跨域?qū)W習，使得這些跨域?qū)W習技術(shù)可以無縫地適用于圖像識別、物體檢測和語義分割這幾大任務(wù)，同時脫離開特征級別的跨域遷移，還結(jié)合生成式對抗網(wǎng)絡(luò)，直接在原始圖像、視頻上進行無監(jiān)督跨域轉(zhuǎn)換。

在深度上，實驗室也對跨域?qū)W習框架進行了一些變革與創(chuàng)新，比如 2019 年提出了一個基于原型網(wǎng)絡(luò)的跨域?qū)W習框架（TPN，Transferrable Prototypical Networks），它可以將特征學習和目標任務(wù)的學習融為一體，有效地提升跨域?qū)W習的性能，此外，實驗室還從理論上證明了自主學習（self-learning）對于模型跨域轉(zhuǎn)換的促進作用。在今年的 CVPR 上，實驗室利用無監(jiān)督聚類技術(shù)深挖目標域的內(nèi)在數(shù)據(jù)結(jié)構(gòu)，并利用這一信息更好地指導跨域?qū)W習，在主流的數(shù)據(jù)集 Office 和 VisDA的封閉集和開放集上均取得了 SOTA 效果，其中在 VisDA 2017 數(shù)據(jù)集上達到 87.2% 的準確率。。

多模態(tài)熱門應(yīng)用之視頻分析

再進一步聊到多模態(tài)技術(shù)在應(yīng)用上的進展，姚霆提到了視頻分析技術(shù)實用性非常強的熱門研究方向。京東當然也洞察到這個有潛力的方向，在視頻分析技術(shù)的各大方向均有自研的獨創(chuàng)性工作。

其中最基本是視頻特征表達的學習，目標在于從原始視頻數(shù)據(jù)中學習包含高層語義信息的特征向量。為此，姚霆團隊設(shè)計了幾種獨特的三維卷積網(wǎng)絡(luò)模型，比如偽三維卷積神經(jīng)網(wǎng)絡(luò)和局部——全局傳播網(wǎng)絡(luò)。在這些特征的基礎(chǔ)上，實驗室還搭建了包括視頻事件檢測、視頻語義分割和視頻動作檢測的視頻理解系統(tǒng)，實現(xiàn)對視頻內(nèi)容的全方位分析。與此同時，在每一個視頻分析的具體應(yīng)用中，實驗室也都沉淀了相應(yīng)的技術(shù)創(chuàng)新，比如針對視頻事件檢測提出了使用時域高斯函數(shù)對事件發(fā)生時間段進行預(yù)測的方法，同時也設(shè)計了基于網(wǎng)絡(luò)結(jié)構(gòu)自動搜索的語義分割方法，用以達成實時的視頻語義分割；針對視頻動作檢測，提出了同時對長短時關(guān)聯(lián)性進行建模的方法，也獲得了在該領(lǐng)域領(lǐng)先的性能。

多模態(tài)熱門應(yīng)用之視頻分析之視頻內(nèi)容理解

視頻內(nèi)容理解同樣是一個熱門的多模態(tài)研究方向。姚霆預(yù)測，在未來，視頻內(nèi)容理解有兩個較為重要的發(fā)展趨勢，即無標注或弱標注視頻數(shù)據(jù)的使用，以及針對視頻特質(zhì)的神經(jīng)網(wǎng)絡(luò)設(shè)計。

首先，數(shù)據(jù)是深度學習訓練的基礎(chǔ)，同時也是發(fā)展視頻內(nèi)容理解技術(shù)的必備條件。目前視頻內(nèi)容理解系統(tǒng)的訓練通常依靠大量的人工標注視頻數(shù)據(jù)，這就不可避免地需要耗費時間和人力。如果可以充分利用互聯(lián)網(wǎng)上海量的無標注或弱標注視頻數(shù)據(jù)來進行訓練，將會突破視頻數(shù)據(jù)來源的限制，全面提升視頻內(nèi)容理解的性能。因此，無監(jiān)督學習、半監(jiān)督學習與弱監(jiān)督學習都將成為視頻內(nèi)容理解的新趨勢。

另一個方向則是針對視頻特質(zhì)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計，目前視頻內(nèi)容理解中所使用的網(wǎng)絡(luò)結(jié)構(gòu)通常與圖像領(lǐng)域的網(wǎng)絡(luò)結(jié)構(gòu)高度耦合，它們并不是真正為視頻而生的網(wǎng)絡(luò)結(jié)構(gòu)，缺乏對視頻數(shù)據(jù)獨到且深刻的見解。所以，如何針對視頻數(shù)據(jù)來設(shè)計全新一代的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，也是視頻內(nèi)容理解領(lǐng)域一個重要的發(fā)展趨勢。

針對跨模態(tài)分析領(lǐng)域，盡管視覺內(nèi)容的理解可以隨著各種高性能網(wǎng)絡(luò)的設(shè)計和深層語義的挖掘不斷升級，視覺和語言間交互的方式也已經(jīng)從傳統(tǒng)的一階注意力機制演化到可捕捉高階乃至無窮階信息交互的注意力機制，但視覺與語言的技術(shù)發(fā)展依然逃脫不了深度學習對于訓練數(shù)據(jù)的貪婪。

因此，如何能在海量的弱監(jiān)督數(shù)據(jù)上學習更具泛化能力的視覺和語言之間本質(zhì)聯(lián)系，將是下一個研究的熱潮。而一旦在這些海量的弱監(jiān)督甚至于無監(jiān)督數(shù)據(jù)上通過預(yù)訓練學習到了蘊含有多模態(tài)間本質(zhì)聯(lián)系的模型，便可賦予它在各種視覺與語言任務(wù)上的生命力�；�于此，我們最近也在數(shù)以億計的網(wǎng)頁上持續(xù)不斷地自動抓取視頻——語言的多模態(tài)數(shù)據(jù)，構(gòu)建了視頻——語言領(lǐng)域首個弱監(jiān)督的大規(guī)模數(shù)據(jù)集（Auto-captions on GIF dataset），并正在 ACM Multimedia 2020 上舉辦跨模態(tài)預(yù)訓練的競賽，其目的還是希望能為跨模態(tài)預(yù)訓練技術(shù)的未來發(fā)展準備好一個充分與完備的平臺。

電商、物流+多模態(tài)發(fā)展空間大，突破口在哪？

盡管電商和物流業(yè)中，計算機視覺和多媒體技術(shù)已經(jīng)有很多落地應(yīng)用了，比如拍照購、內(nèi)容審核和物流園區(qū)作業(yè)人員行為規(guī)范管理等，但在姚霆看來，縱觀整個電商和物流體系，依然有一部分業(yè)務(wù)需要人工檢驗確認步驟，還遠遠沒有達到計算機視覺和多媒體技術(shù)完全自主的階段。簡言之，當前電商、物流場景與這些技術(shù)的結(jié)合還處于局部智能化的階段，整個產(chǎn)業(yè)鏈并沒有得到顛覆性的革新。

“我們希望，隨著整個電商平臺和供應(yīng)鏈的不斷數(shù)字化，加上智能配送系統(tǒng)的持續(xù)發(fā)展，未來的電商、物流業(yè)務(wù)可以從計算機視覺和多媒體技術(shù)輔助的方式，逐漸轉(zhuǎn)變成為由這些技術(shù)完全主導的機器自助，乃至多機協(xié)同，在電商與物流的每一個環(huán)節(jié)上都盡可能地使用智能的方式進行全局調(diào)度，尋求更加高效智能的供應(yīng)鏈。這也正是我們目前正在建設(shè)的智能供應(yīng)鏈開放平臺的愿景，即依托人工智能技術(shù)與供應(yīng)鏈系統(tǒng)，打造智能供應(yīng)鏈產(chǎn)業(yè)生態(tài)，賦能現(xiàn)代供應(yīng)鏈的生產(chǎn)、流通、消費三大場景�！彪m然電商和物流業(yè)中多模態(tài)技術(shù)的應(yīng)用還不夠成熟，但姚霆十分看好這一領(lǐng)域的發(fā)展空間。

多模態(tài)技術(shù)被很多人視為未來獲得真正的機器智能的途徑之一，對于這一觀點，姚霆表示不能完全認同。他認為，首先需要肯定的是，相比于只側(cè)重單一模態(tài)的技術(shù)（比如圖像識別、動作檢測、機器翻譯等），多模態(tài)技術(shù)一定距離真正的機器智能更近一些，因為機器智能的終極目的是模擬人的智能，而人之本身對于這個世界的認識一定是視聽說的結(jié)合，這就對應(yīng)著多模態(tài)技術(shù)的融合。因此，對于機器而言，只有綜合來源于不同模態(tài)的知識才能對這個真實的世界實現(xiàn)全面綜合的理解，這也正是達到真正人類級別的智能的基石之一。但是，當前的多模態(tài)技術(shù)還遠遠未達到能通向真正機器智能的水平，因為它缺乏了人的智能中最為關(guān)鍵的推理能力，這也正是多模態(tài)技術(shù)在未來亟需突破的一個瓶頸。

多模態(tài)研究歷史不長，至今沒有顛覆性的成果出現(xiàn)，要想獲得進一步發(fā)展，多模態(tài)技術(shù)研究將來要對準哪些突破口？

對此，姚霆也有自己的看法，“目前大部分多模態(tài)技術(shù)走的還是深度學習中拿大量的已標注多模態(tài)數(shù)據(jù)來喂深度模型的老路子，即數(shù)據(jù)驅(qū)動模型的感知計算，這就導致訓練得到的多模態(tài)模型不具備人腦一樣的推理能力，其在真實場景下的泛化能力也大大受限。如果能在現(xiàn)有的多模態(tài)技術(shù)中融入專家、常識知識（例如結(jié)合知識圖譜），則能利用數(shù)據(jù)與知識的聯(lián)合驅(qū)動讓多模態(tài)技術(shù)更為“智能”。同時，也可以在多模態(tài)模型訓練的過程中引入多種自監(jiān)督的推理型任務(wù)，“強迫”多模態(tài)模型進行推理和思考，這也能在一定程度上讓機器去慢慢學會推理�！�

此外，姚霆還指出，當前的多模態(tài)技術(shù)還是屬于狹隘的單任務(wù)學習，整個訓練和測試的過程都是在封閉和靜態(tài)的環(huán)境下進行，這就和真實世界中開放動態(tài)的應(yīng)用場景存在一定的差異性。為了彌補這一差異，我們可以在訓練過程不斷結(jié)合真實世界數(shù)據(jù)的回流來持續(xù)升級多媒體模型，甚至于可以利用元學習的方式來讓模型自己學會如何認知新的多模態(tài)知識，實現(xiàn)適用于開放動態(tài)場景并具備終生學習能力的多模態(tài)模型。