91嫩草精品在线,久草中文网,国产亚洲情侣一区二区无,亞洲av美女二區免費在線播放,天天干网,亚洲第一黄网,亚洲第一黄网

創(chuàng)澤機(jī)器人
CHUANGZE ROBOT
當(dāng)前位置:首頁 > 新聞資訊 > 機(jī)器人知識 > AI也會遭遇瓶頸 解析人工智能技術(shù)的存儲性能需求

AI也會遭遇瓶頸 解析人工智能技術(shù)的存儲性能需求

來源:--     編輯:創(chuàng)澤   時間:2020/5/13   主題:其他 [加盟]
2020年對于很多人而言都是永遠(yuǎn)值得銘記的一年,突如其來的新冠疫情幾乎改變了每個人的生活,它不僅給人類的經(jīng)濟(jì)造成了重大損失,也給人類的健康帶來了巨大的威脅。面對這難以對付的病毒,我們既看到了無數(shù)勇士的悲壯逆行,也看到了科技在整個抗疫斗爭中所起到的關(guān)鍵作用,特別是其中的AI人工智能技術(shù)——通過AI技術(shù)我們可以加速疫苗的研發(fā);通過AI技術(shù),在眾多醫(yī)療終端設(shè)備以及大量的病人臨床數(shù)據(jù)中,我們能提煉出最佳的診斷方案,加速診斷的效率,提升診斷的效果。可以說,AI技術(shù)在這次關(guān)鍵的戰(zhàn)役中發(fā)揮出了重大的作用。

人工智能已經(jīng)深入醫(yī)療、教育、工業(yè)到能源、金融等各個領(lǐng)域。

因此并不意外,在2020年第三屆軟件定義存儲峰會上,英特爾提出的主題是“突破內(nèi)存與存儲瓶頸 釋放人工智能無限潛力”。畢竟在這場抗疫戰(zhàn)斗中,英特爾不僅投入重金資助合作伙伴使用AI技術(shù)進(jìn)行診斷、疫苗開發(fā)方面的研究,還推動AI科技在醫(yī)學(xué)檢驗、醫(yī)療物資生產(chǎn)、疫情推演等多個領(lǐng)域加速落地,英特爾深知AI人工智能對人類的重要性。除了對抗新型病毒,AI人工智能技術(shù)其實也深入了人類生活的各個領(lǐng)域。英特爾公司中國區(qū)非易失性存儲解決方案事業(yè)部戰(zhàn)略業(yè)務(wù)開發(fā)總監(jiān)倪錦峰先生在峰會上談到:“從醫(yī)療、教育、工業(yè)到能源、金融等等,每個行業(yè)都在以數(shù)字化的方式來尋求主動變革,我們可以預(yù)見的是,在不遠(yuǎn)的將來,整個社會對數(shù)字化的服務(wù)需求將不斷地激增”。

AI人工智能技術(shù)將給存儲產(chǎn)品帶來重大挑戰(zhàn)

人工智能技術(shù)的數(shù)據(jù)管道主要分為采集、準(zhǔn)備、訓(xùn)練和推理四部分。每個部分需要讀寫不同類型的數(shù)據(jù),工作負(fù)載也不盡相同。

“工欲善其事,必先利其器”,要想發(fā)揮出AI人工智能技術(shù)的最大威力,需要企業(yè)構(gòu)建強(qiáng)有力的IT基礎(chǔ)設(shè)施。這個設(shè)施不僅需要強(qiáng)有力的處理器、FPGA、GPU,也需要高性能的存儲設(shè)備,否則就會如普通電腦一般,因為機(jī)械硬盤傳輸速度最慢,尋找數(shù)據(jù)的時間最長,往往會成為整個系統(tǒng)性能的瓶頸,即使是SATA/PCIe NAND SSD,很多時候也跟不上AI數(shù)據(jù)處理的需求。倪錦峰先生介紹到,無論用于哪個行業(yè),人工智能的工作實際上主要由采集、準(zhǔn)備、訓(xùn)練和推理四部分組成。每個部分需要讀寫不同類型的數(shù)據(jù),工作負(fù)載也不盡相同,將給存儲設(shè)備帶來較大的挑戰(zhàn)。

簡單地說,在整個人工智能執(zhí)行過程中,IO的需求是不可預(yù)測、復(fù)雜多變的,它讀寫的數(shù)據(jù)主要有三個重要的特點:

第一是它的數(shù)據(jù)集大小,差異性非常大,在最初開始的采集階段是PB級別,到訓(xùn)練階段是GB級別,到訓(xùn)練好了執(zhí)行的函數(shù),相關(guān)的模型可能是KB級別;

第二它的工作負(fù)載也是復(fù)雜多變的,從最初百分之百的寫入到準(zhǔn)備階段的50%讀、50%寫混合負(fù)載,到后面的一些訓(xùn)練、推理階段可能出現(xiàn)百分之百的讀,其中包括很多的隨機(jī)讀取操作;

第三是存儲模式也會有很多變化,從一開始順序化的數(shù)據(jù)流寫入,到后面則是通過完全隨機(jī)的讀寫,來幫助建立準(zhǔn)確的模型。

    

因此人工智能技術(shù)對存儲性能的要求是很苛刻的,用戶總是希望設(shè)備能滿足高吞吐量和低延時的需求,總是希望更多的數(shù)據(jù)能夠更加靠近處理器,以獲取及時的傳輸、執(zhí)行,但用戶又會希望AI的基礎(chǔ)設(shè)施投資成本能在可控的范圍之內(nèi),可以說這是一個相互矛盾的需求,那么對于用戶來說如何才能實現(xiàn)這個愿望呢?

 

優(yōu)化成本,提升性能

英特爾存儲產(chǎn)品構(gòu)建分層存儲 

首先還是應(yīng)對用戶使用的數(shù)據(jù)類型進(jìn)行研究,倪錦峰先生向我們展示了英特爾經(jīng)典的存儲金字塔圖。在應(yīng)用中,并不是所有數(shù)據(jù)都會經(jīng)常被用到,因此數(shù)據(jù)可以被分成熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)等3個不同層次。熱數(shù)據(jù)即需要立馬進(jìn)行處理的數(shù)據(jù),例如銀行收到的轉(zhuǎn)賬請求,即時的地理位置等。溫數(shù)據(jù)是非即時的狀態(tài)和行為數(shù)據(jù),例如用戶近期感興趣的話題,或用戶最近去過的地方等,冷數(shù)據(jù)則是不經(jīng)常訪問的數(shù)據(jù)。

研究數(shù)據(jù)類型、數(shù)據(jù)使用所形成的工作負(fù)載,對數(shù)據(jù)進(jìn)行分層,并使用最適合的設(shè)備來存儲數(shù)據(jù)可以提升存儲系統(tǒng)的性能,并降低成本。

如果全部使用DRAM內(nèi)存來存儲這些數(shù)據(jù),在性能上可能會表現(xiàn)突出,但也意味著用戶需要花費(fèi)非常高昂的成本。因此更合理的是根據(jù)數(shù)據(jù)的類型、負(fù)載對它們合理地使用存儲設(shè)備。例如可以使用DRAM內(nèi)存、英特爾傲騰持久內(nèi)存來存儲熱數(shù)據(jù),因為它們擁有很高的性能和超低的延遲,離CPU和GPU最近,能夠獲得及時的洞察。而英特爾傲騰固態(tài)盤搭配以英特爾為代表的TLC、QLC NAND固態(tài)盤,則憑借大容量、高性能適合用于熱、溫?zé)帷卮鎯Α_@種分層設(shè)計的絕妙之處在于金字塔里的每一個層級的數(shù)據(jù)、使用產(chǎn)品在容量和延時特性上正好有數(shù)量級的差距,這就使得用戶可以根據(jù)數(shù)據(jù)的類型、工作負(fù)載進(jìn)行冷熱分層,并同時參考自己的預(yù)算,對性能的需求,對功耗的預(yù)期,來不斷地優(yōu)化自己的存儲方案。

憑借不同于傳統(tǒng)NAND閃存的革命性材料,傲騰具有就地寫入、支持位尋址、低延遲等三大新特性。

那么英特爾的存儲技術(shù)能否承擔(dān)起這一重任呢?從倪錦峰先生的介紹中,可以看到由于使用了不同于傳統(tǒng)NAND閃存的傲騰介質(zhì),傲騰持久內(nèi)存、傲騰固態(tài)盤具有諸多新特性。首先是它支持就地寫入,寫入前不需要進(jìn)行數(shù)據(jù)擦除。不像普通NAND閃存存在讀-修改-寫這個過程,因此它擁有更好的性能。同時在長時間寫入后,它也不會出現(xiàn)數(shù)據(jù)臟塊,不需要進(jìn)行垃圾回收,因此傲騰產(chǎn)品可以很好地保持性能一致性,不會出現(xiàn)NAND固態(tài)盤用得越久、性能越差的問題。

與采用傳統(tǒng)NAND閃存的DC P4600SSD相比,傲騰固態(tài)盤DC P4800X的延遲更低、一致性更好,壽命長得多,效率更高。

其次是傲騰技術(shù)支持位尋址,可以提供超低的延遲,帶來更快的傳輸速度,畢竟AI人工智能技術(shù)的應(yīng)用對存儲設(shè)備的容量和性能都有很高的要求。相比傳統(tǒng)NAND閃存,傲騰產(chǎn)品在性能上有質(zhì)的提升,形象地比喻,就是將數(shù)據(jù)的載體從汽車升級為飛機(jī)。延遲方面,它最好可以做到微秒級別,雖然和內(nèi)存DRAM的不到0.1 微秒相比還是存在一定的差距,但是已遠(yuǎn)遠(yuǎn)好于NAND閃存的近百微秒的水平。英特爾數(shù)據(jù)顯示傲騰DC固態(tài)盤的訪問延遲不僅較傳統(tǒng)HDD、SATA SSD大幅降低,即便與同樣采用NVMe接口的NAND SSD相比,其優(yōu)勢也是非常大的——與采用3D NAND 顆粒的英特爾DC P4600 SSD 相比,傲騰固態(tài)盤DC P4800X的讀取延遲在不同寫壓力、不同隊列深度下,低了8~63倍。

此外新介質(zhì)大幅提升了傲騰產(chǎn)品的壽命,英特爾傲騰固態(tài)盤可以支持多達(dá)60個DWPD(每日全盤寫入次數(shù)),而大家所熟悉的英特爾P4600、P4610這樣的高性能、高壽命的NAND固態(tài)盤,只能支持3個DWPD左右,英特爾傲騰固態(tài)盤的進(jìn)步是非?捎^的。

人工智能技術(shù)的數(shù)據(jù)管道可以通過使用英特爾傲騰持久內(nèi)存、傲騰固態(tài)盤、QLC 3DNAND固態(tài)盤,進(jìn)行合理搭配來提升任務(wù)執(zhí)行的效率,并降低成本、功耗。

同時從AI數(shù)據(jù)通道中的采集、整理、訓(xùn)練、推理四個階段,可以看到各階段對存儲的要求是非常高的,需要有持續(xù)、一致的吞吐量,以及同樣一致、持續(xù)、超低的延遲,這些需求正是傲騰產(chǎn)品所擅長的,再加上英特爾QLC 3D NAND SSD所擁有的大容量(已可實現(xiàn)單盤32TB)、高性能特性,通過這樣一個完美的結(jié)合,可以幫助改善客戶對數(shù)據(jù)的融合,提升軟件定義存儲解決方案的性能,幫助用戶為即將到來的人工智能時代的數(shù)據(jù)爆發(fā)做好相應(yīng)的準(zhǔn)備。

 

大幅提升效率

英特爾存儲方案體現(xiàn)實際價值

采用傲騰固態(tài)盤后,VMWare vSAN、hadoop、CEPH等各個存儲系統(tǒng)的性能都獲得了大幅提升。

根據(jù)倪錦峰先生介紹,在實際使用中,不少平臺改用英特爾傲騰產(chǎn)品后,都獲得了很好的效果。如百度在2018年發(fā)布了基于英特爾傲騰固態(tài)盤加英特爾QLC 3D NAND固態(tài)盤的存儲解決方案,這一方案大幅提升了AI人工智能、大數(shù)據(jù)、云計算的存儲性能。在AI的一個訓(xùn)練場景中,這一方案相比原來的HDD機(jī)械硬盤方案可以獲得21倍的性能提升以及96%的延遲下降,同時降低TCO多達(dá)60%。在VMWare vSAN分布式存儲系統(tǒng)中,將高性能緩存從NAND PCIe固態(tài)盤換成英特爾的傲騰固態(tài)盤后,其虛擬機(jī)密度提升了60%,同時系統(tǒng)整合率能夠提升30%;在hadoop分布式架構(gòu)中,當(dāng)用戶使用英特爾傲騰固態(tài)盤作為hadoop的臨時數(shù)據(jù)緩存后,其吞吐量或性能可以提升40%左右。

 

而在CEPH分布式存儲系統(tǒng)中,當(dāng)用戶使用英特爾傲騰固態(tài)盤替換了傳統(tǒng)的NAND固態(tài)盤,作為元數(shù)據(jù)(metadata)緩存和journal盤后,其延遲可以降低50%左右,同時IOPS性能獲得了40%左右的提升。在微軟的Azure Stack HCI云平臺上,當(dāng)用戶將英特爾傲騰固態(tài)盤作為緩存盤后,則能使每個系統(tǒng)、每個節(jié)點所能夠支持的虛擬機(jī)數(shù)量提升60%左右,同時虛擬機(jī)的跑分也能夠提升約80分。此外,現(xiàn)在也有很多國內(nèi)公司正在使用英特爾傲騰技術(shù)來進(jìn)行存儲解決方案的創(chuàng)新,包括浪潮、VMWare、XSKY、QingCloud等眾多合作伙伴。

 

讓存儲更接近計算資源讓存儲兼得高性能與穩(wěn)定性


英特爾公司中國區(qū)非易失性存儲解決方案事業(yè)部戰(zhàn)略業(yè)務(wù)開發(fā)總監(jiān)倪錦峰先生接受了采訪

從以上的技術(shù)講解、案例可以看到,英特爾解決方案之所以能有如此突出的表現(xiàn),主要依賴的是性能接近內(nèi)存的傲騰存儲產(chǎn)品。而在前不久舉行的2020英特爾中國年度戰(zhàn)略“紛享會”上,英特爾也提出了近內(nèi)存計算的概念,那么這是否代表著未來的存儲趨勢?幸運(yùn)的是,筆者在此次大會上還獲得了采訪英特爾公司中國區(qū)非易失性存儲解決方案事業(yè)部戰(zhàn)略業(yè)務(wù)開發(fā)總監(jiān)倪錦峰先生的機(jī)會。倪錦峰先生認(rèn)為在這個數(shù)據(jù)爆發(fā)的時代,特別是當(dāng)5G技術(shù)發(fā)展成熟之后,所產(chǎn)生的大量數(shù)據(jù)無法通過網(wǎng)絡(luò)全部匯集到數(shù)據(jù)中心,所以部分?jǐn)?shù)據(jù)必須要在邊緣進(jìn)行計算,這就需要存儲和計算在邊緣端融合在一起,只有高效的存儲性能才能幫助邊緣端快速完成計算。 

而在數(shù)據(jù)中心里,則存在不少壓縮、解壓縮等具有規(guī)律性、重復(fù)性、依賴內(nèi)存的計算需求,如果使用傳統(tǒng)的執(zhí)行方式將消耗很多CPU計算資源和DRAM內(nèi)存資源。英特爾的中長期目標(biāo)則是將計算和存儲融合在一起,使得存儲和計算更加靠近。比如英特爾中國研究院宋繼強(qiáng)院長提到的方案是將FPGA與存儲架構(gòu)融合在一起,存儲系統(tǒng)可以滿足類似實時計算的要求,比如壓縮、解壓縮、AI訓(xùn)練等。同時存儲系統(tǒng)的參與也能有效降低用戶對CPU、內(nèi)存資源的需求,從而降低成本。而性能接近內(nèi)存的傲騰介質(zhì)的確比較合適承擔(dān)這一重任。

顯然傲騰突出的性能是實現(xiàn)近內(nèi)存計算的關(guān)鍵,那么企業(yè)在長時間使用傲騰時,是否需要進(jìn)行額外的維護(hù)、保養(yǎng)呢?倪錦峰先生則表示對于傳統(tǒng)的NAND閃存固態(tài)盤來說,可能需要這樣的工作。畢竟傳統(tǒng)SSD的讀-修改-寫機(jī)制會導(dǎo)致垃圾數(shù)據(jù)堆積,造成性能下降,同時垃圾回收等會帶來額外的壽命損耗。傳統(tǒng)SSD之所以后續(xù)會出問題,一是因為垃圾堆積沒有有效處理,二是因為NAND閃存用的時間越長,它的壞塊就會越多,因此需要做很多壞塊的管理工作,壞塊越多,冗余空間越來越少,性能也會越差。


而傲騰產(chǎn)品沒有寫入放大的問題,同時可擦寫能力非常高,壽命有量級差異,所以它的整個生命周期里是沒有性能衰減的問題。同時傲騰產(chǎn)品都經(jīng)歷了嚴(yán)格的性能和可靠性驗證,包括模擬了惡劣負(fù)載情況下工作5年的測試,即加速老化測試。英特爾有大量的數(shù)據(jù)證明,傲騰產(chǎn)品在整個生命周期里面性能是一致、持續(xù)穩(wěn)定的。

傲騰將成加速AI人工智能技術(shù)的“催化劑”


在本文截稿時,新冠疫情仍沒有結(jié)束,人類仍在與之戰(zhàn)斗。但我們堅信沒有一個冬天不能過去,沒有一個春天不會到來,AI新興技術(shù)必將助力人類更快地戰(zhàn)勝疫情,加速推動社會的數(shù)字化和智能化的發(fā)展。而要加速AI技術(shù)的發(fā)展,像傲騰這樣讓數(shù)據(jù)更靠近CPU,性能接近內(nèi)存的新技術(shù)必不可少。而憑借更大的存儲容量和優(yōu)異的性價比,英特爾QLC3D NAND也將成為取代HDD機(jī)械硬盤陣列的一個新選擇。毫無疑問,傲騰技術(shù)與QLC 3D NAND技術(shù)的結(jié)合,將成為AI人工智能技術(shù)的“催化劑”,我們也期待著這瓶“催化劑”能讓AI人工智能技術(shù)發(fā)展得更快,并創(chuàng)造出更多的成果,為人類造福。





情感分析技術(shù):讓智能客服更懂人類情感

智能客服系統(tǒng)中人機(jī)結(jié)合的服務(wù)形式,從五個維度總結(jié)和介紹情感分析技術(shù)在智能客服系統(tǒng)中的應(yīng)用場景,包括情感分析算法模型的原理及實際落地使用方式和效果分析

基于腦肌融合的軟體康復(fù)手研究

軟體機(jī)械手充分利用和發(fā)揮各種柔性材料的柔順性,及其非線性、粘彈性和遲滯特性等在軟體手運(yùn)動和控制中潛在的“機(jī)械智能”作用,降低控制的復(fù)雜度,實現(xiàn)高靈活性、強(qiáng)適應(yīng)性和良好交互性,在醫(yī)療康復(fù)領(lǐng)域有重要應(yīng)用價值

微信提出推薦中的深度反饋網(wǎng)絡(luò),在“看一看”數(shù)據(jù)集上達(dá)到SOTA

DFN模型綜合使用了用戶的隱式正反饋(點擊行為)、隱式負(fù)反饋(曝光但未點擊的行為)以及顯式負(fù)反饋(點擊不感興趣按鈕行為)等信息

“觸控一體化”的新型機(jī)械手指尖研究

機(jī)械手面臨的難點在于如何在柔性物體上施加可控的擠壓力,以及在非穩(wěn)定狀況下確保精確、穩(wěn)健的抓握與柔性指端操控

戴瓊海院士:搭建腦科學(xué)與人工智能的橋梁

腦科學(xué)的發(fā)展將推動人工智能科學(xué)從感知人工智能到認(rèn)知人工智能的跨越

如何加快解決數(shù)據(jù)產(chǎn)權(quán)問題

數(shù)據(jù)所有權(quán)方面,1原始數(shù)據(jù)屬于個人,2企業(yè)享有衍生數(shù)據(jù)所有權(quán),3政府享有政府?dāng)?shù)據(jù)的歸屬權(quán)

圖像檢索入門、特征和案例

圖像檢索是計算機(jī)視覺中基礎(chǔ)的應(yīng)用,可分為文字搜圖和以圖搜圖。借助于卷積神經(jīng)網(wǎng)絡(luò)CNN強(qiáng)大的建模能力,圖像檢索的精度越發(fā)提高

《視覺SLAM十四講》作者高翔:非結(jié)構(gòu)化道路激光SLAM中的挑戰(zhàn)

SLAM階段:解決從原始傳感器數(shù)據(jù)開始,構(gòu)建某種基礎(chǔ)地圖的過程,標(biāo)注階段:在SLAM結(jié)果基礎(chǔ)上進(jìn)行人為標(biāo)注,實現(xiàn)更精細(xì)的交通規(guī)則控制

SLAM與V-SLAM特征對比

基于激 光雷達(dá)的SLAM(激光SLAM)和基于視覺的SLAM(V-SLAM)。激光SLAM目前發(fā)展比較成熟、應(yīng)用廣泛,未來多傳感器融合的SLAM 技術(shù)將逐漸成為技術(shù)趨勢,取長補(bǔ)短,更好地實現(xiàn)定位導(dǎo)航。

國內(nèi)外舵機(jī)參數(shù)性能價格比較

舵機(jī)是步態(tài)服務(wù)機(jī)器人的核心零部件和成本構(gòu)成,是包含電機(jī)、傳感器、控制器、減速器等單元的機(jī)電一體化元器件

AI在COVID-19診斷成像中的應(yīng)用

人工智能技術(shù)支持的圖像采集可以顯著幫助掃描過程實現(xiàn)自動化,還可以重塑工作流程,最大限度地減少與患者的接觸,為成像技術(shù)人員提供最佳保護(hù)

不完美場景下的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法

騰訊優(yōu)圖實驗室高級研究員Louis在分享了自適應(yīng)缺陷數(shù)據(jù),業(yè)務(wù)場景下的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法
資料獲取
機(jī)器人知識
== 最新資訊 ==
ChatGPT:又一個“人形機(jī)器人”主題
ChatGPT快速流行,重構(gòu) AI 商業(yè)
中國機(jī)器視覺產(chǎn)業(yè)方面的政策
中國機(jī)器視覺產(chǎn)業(yè)聚焦于中國東部沿海地區(qū)(
從CHAT-GPT到生成式AI:人工智能
工信部等十七部門印發(fā)《機(jī)器人+應(yīng)用行動實
全球人工智能企業(yè)市值/估值 TOP20
創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司第十一期上
諧波減速器和RV減速器比較
機(jī)器人減速器:諧波減速器和RV減速器
人形機(jī)器人技術(shù)難點 高精尖技術(shù)的綜合
機(jī)器人大規(guī)模商用面臨的痛點有四個方面
青島市機(jī)器人產(chǎn)業(yè)概況:機(jī)器人企業(yè)多布局在
六大機(jī)器人產(chǎn)業(yè)集群的特點
機(jī)械臂-高度非線性強(qiáng)耦合的復(fù)雜系統(tǒng)
== 機(jī)器人推薦 ==
迎賓講解服務(wù)機(jī)器人

服務(wù)機(jī)器人(迎賓、講解、導(dǎo)診...)

智能消毒機(jī)器人

智能消毒機(jī)器人

機(jī)器人開發(fā)平臺

機(jī)器人開發(fā)平臺


機(jī)器人招商 Disinfection Robot 機(jī)器人公司 機(jī)器人應(yīng)用 智能醫(yī)療 物聯(lián)網(wǎng) 機(jī)器人排名 機(jī)器人企業(yè) 機(jī)器人政策 教育機(jī)器人 迎賓機(jī)器人 機(jī)器人開發(fā) 獨角獸 消毒機(jī)器人品牌 消毒機(jī)器人 合理用藥 地圖
版權(quán)所有 創(chuàng)澤智能機(jī)器人集團(tuán)股份有限公司 中國運(yùn)營中心:北京 清華科技園九號樓5層 中國生產(chǎn)中心:山東日照太原路71號
銷售1:4006-935-088 銷售2:4006-937-088 客服電話: 4008-128-728