三維不規(guī)則數(shù)據(jù)常常出現(xiàn)在許多領(lǐng)域的研究中,比如社會科學(xué)中的社會網(wǎng)絡(luò)、大腦成像中的功能網(wǎng)絡(luò),又或者在我們接下來要提到的研究三維形狀的計算機(jī)圖形學(xué)中,這樣的不規(guī)則數(shù)據(jù)在現(xiàn)實(shí)生活中幾乎是無處不在的。
近年來,基于這種三維不規(guī)則數(shù)據(jù)的深度學(xué)習(xí)發(fā)展迅速,而圖卷積神經(jīng)網(wǎng)絡(luò)應(yīng)對三維不規(guī)則數(shù)據(jù)的表現(xiàn)尤為突出[2]。
在計算機(jī)圖形學(xué)中,為了虛擬化真實(shí)世界的物體(如人或者動物等),三維形狀通常需要離散化為網(wǎng)格(mesh),用于真實(shí)感渲染。但是,因?yàn)樵O(shè)備的差異或采集方式的不同,很難針對單個三維形狀得到的相同的離散化方式(固定的分辨率和連接關(guān)系)。這種同一個形狀具有不同的離散化方式是計算機(jī)圖形學(xué)有別于其他學(xué)科的一個重要特點(diǎn),而現(xiàn)有的圖神經(jīng)網(wǎng)絡(luò)無法有效統(tǒng)一不同離散化下的特征,這極大地限制了圖神經(jīng)網(wǎng)絡(luò)在圖形學(xué)領(lǐng)域的發(fā)展。
那么,如何解決這一問題呢?
自動化所團(tuán)隊(duì)提出了一種新穎的多尺度圖卷積神經(jīng)網(wǎng)絡(luò),重點(diǎn)解決了傳統(tǒng)圖卷積神經(jīng)網(wǎng)絡(luò)中圖節(jié)點(diǎn)學(xué)習(xí)到的特征對圖分辨率和連接關(guān)系敏感的問題。該方法可以實(shí)現(xiàn)在低分辨率的三維形狀上學(xué)習(xí)特征,在高低分辨率形狀之上進(jìn)行測試,并且保持不同分辨率特征的一致性。
01 研究背景
傳統(tǒng)的圖卷積神經(jīng)網(wǎng)絡(luò)通常聚集1-鄰域(GCN),k-環(huán)鄰域(ChebyGCN)或k-近鄰鄰域(DGCNN)的信息,所以其感受野與分辨率或者圖連接關(guān)系是相關(guān)的。也就是說,在三維形狀的不同離散化下,卷積的感受野對應(yīng)的形狀語義范圍產(chǎn)生了較大的變化。如何解決這種卷積方式未考慮到針對不同離散化情況所產(chǎn)生的問題,存在較大的挑戰(zhàn)。
02 方法簡述
為解決現(xiàn)有圖卷積神經(jīng)網(wǎng)絡(luò)的問題,團(tuán)隊(duì)設(shè)計了一種多尺度圖卷積神經(jīng)網(wǎng)絡(luò)(multiscale graph convolutional network,MGCN)。如圖1所示,我們發(fā)現(xiàn),針對不同分辨率和連接關(guān)系的離散化,三維圖譜小波函數(shù)表現(xiàn)出極佳的魯棒性,并且不需要計算測地距離。因此,我們設(shè)計將多尺度的小波函數(shù)嵌入到圖卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)當(dāng)中。
2020年5月底OpenAI發(fā)布了有史以來最強(qiáng)的NLP預(yù)訓(xùn)練模型GPT-3,最大的GPT-3模型參數(shù)達(dá)到了1750億個參數(shù)
達(dá)摩院金榕教授介紹了語音、自然語言處理、計算機(jī)視覺三大核心AI技術(shù)的關(guān)鍵進(jìn)展,并就AI技術(shù)在在實(shí)際應(yīng)用中的關(guān)鍵挑戰(zhàn),以及達(dá)摩院應(yīng)對挑戰(zhàn)的創(chuàng)新實(shí)踐進(jìn)行了解讀
新一代移動端深度學(xué)習(xí)推理框架TNN,通過底層技術(shù)優(yōu)化實(shí)現(xiàn)在多個不同平臺的輕量部署落地,性能優(yōu)異、簡單易用。騰訊方面稱,基于TNN,開發(fā)者能夠輕松將深度學(xué)習(xí)算法移植到手機(jī)端高效的執(zhí)行,開發(fā)出人工智能 App,真正將 AI 帶到指尖
新加坡國立大學(xué)NExT中心的王翔博士分析了知識圖譜在個性化推薦領(lǐng)域的應(yīng)用背景,并詳細(xì)介紹了課題組在個性化推薦中的相關(guān)研究技術(shù)和進(jìn)展,包括基于路徑、基于表征學(xué)習(xí)、基于圖神經(jīng)網(wǎng)絡(luò)等知識圖譜在推薦系統(tǒng)中的融合技術(shù)
根據(jù)各種指法的具體特點(diǎn),對時頻網(wǎng)格圖、時域網(wǎng)格圖、頻域網(wǎng)格圖劃分出若干個不同的計算區(qū)域,并以每個計算區(qū)域的均值與標(biāo)準(zhǔn)差作為指法自動識別的特征使用,用于基于機(jī)器學(xué)習(xí)方法的指法自動識別
Tube Feature Aggregation Network(TFAN)新方法,即利用時序信息來輔助當(dāng)前幀的遮擋行人檢測,目前該方法已在 Caltech 和 NightOwls 兩個數(shù)據(jù)集取得了業(yè)界領(lǐng)先的準(zhǔn)確率
姚霆指出,當(dāng)前的多模態(tài)技術(shù)還是屬于狹隘的單任務(wù)學(xué)習(xí),整個訓(xùn)練和測試的過程都是在封閉和靜態(tài)的環(huán)境下進(jìn)行,這就和真實(shí)世界中開放動態(tài)的應(yīng)用場景存在一定的差異性
優(yōu)酷智能檔突破“傳統(tǒng)自適應(yīng)碼率算法”的局限,解決視頻觀看體驗(yàn)中高清和流暢的矛盾
通過使用仿真和量化指標(biāo),使基準(zhǔn)測試能夠通用于許多操作領(lǐng)域,但又足夠具體,能夠提供系統(tǒng)的有關(guān)信息
基于內(nèi)容圖譜結(jié)構(gòu)化特征與索引更新平臺,在結(jié)構(gòu)化方面打破傳統(tǒng)的數(shù)倉建模方式,以知識化、業(yè)務(wù)化、服務(wù)化為視角進(jìn)行數(shù)據(jù)平臺化建設(shè),來沉淀內(nèi)容、行為、關(guān)系圖譜,目前在優(yōu)酷搜索、票票、大麥等場景開始進(jìn)行應(yīng)用
NVIDIA解決方案架構(gòu)師王閃閃講解了BERT模型原理及其成就,NVIDIA開發(fā)的Megatron-BERT
自然語言處理技術(shù)的應(yīng)用和研究領(lǐng)域發(fā)生了許多有意義的標(biāo)志性事件,技術(shù)進(jìn)展方面主要體現(xiàn)在預(yù)訓(xùn)練語言模型、跨語言 NLP/無監(jiān)督機(jī)器翻譯、知識圖譜發(fā)展 + 對話技術(shù)融合、智能人機(jī)交互、平臺廠商整合AI產(chǎn)品線