• 正文
  • 推薦器件
  • 相關(guān)推薦
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

曙光首創(chuàng)技術(shù)攻克大模型存儲(chǔ)三大痛點(diǎn)!

2023/07/20
1921
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

國(guó)內(nèi)大模型百花齊放,據(jù)統(tǒng)計(jì),中國(guó)10億以上參數(shù)大模型已發(fā)布79個(gè)。

大模型海量計(jì)算,對(duì)存儲(chǔ)提出了更高要求。而三大存力痛點(diǎn),制約大模型計(jì)算發(fā)展:一是數(shù)據(jù)加載慢,導(dǎo)致訓(xùn)練時(shí)間長(zhǎng);二是數(shù)據(jù)訪問(wèn)協(xié)議多樣性,要求數(shù)據(jù)訪問(wèn)效率更高;三是數(shù)據(jù)生命周期管理不完善,數(shù)據(jù)安全風(fēng)險(xiǎn)亟需關(guān)注。

基于這些存儲(chǔ)痛點(diǎn),曙光存儲(chǔ)大模型解決方案升級(jí)迭代,攜全新業(yè)內(nèi)首創(chuàng)技術(shù)XDS,提供增效、降本、安全的體驗(yàn)。

增效-首創(chuàng)XDS技術(shù),存算協(xié)同優(yōu)化提升效率

此次大模型解決方案升級(jí)迭代,曙光ParaStor首創(chuàng)實(shí)現(xiàn)XDS多層級(jí)智能加速技術(shù),集算力端、存力端各維度各層級(jí)加速引擎為一體,打造高效的存算協(xié)同。

以往AI訓(xùn)練中,智能芯片若想讀取數(shù)據(jù),則需先將數(shù)據(jù)存到緩存中,再由CPU發(fā)往智能芯片讀取。CPU與緩存的轉(zhuǎn)運(yùn),導(dǎo)致數(shù)據(jù)調(diào)取速度變慢。而XDS技術(shù)可實(shí)現(xiàn)將數(shù)據(jù)直接加載到智能芯片中,提高訓(xùn)練過(guò)程中數(shù)據(jù)集的加載及處理速度。XDS技術(shù)創(chuàng)新在于,支持多種智能芯片的直接存取,除了GPU,也支持多款算力端智能芯片直接存取數(shù)據(jù)。XDS技術(shù)簡(jiǎn)化了存取過(guò)程,降低了CPU與緩存壓力,更節(jié)省硬件資源。

在存力端,XDS技術(shù)內(nèi)嵌ParaBuffer加速引擎,在AI訓(xùn)練計(jì)算節(jié)點(diǎn)與存儲(chǔ)系統(tǒng)之間構(gòu)造大內(nèi)存池,將系統(tǒng)整體I/O性能提升數(shù)倍。存算協(xié)同優(yōu)化,使得訓(xùn)練時(shí)間大幅降低,可由數(shù)十天降低至幾天。

降本-多存儲(chǔ)協(xié)議與智能分級(jí),數(shù)據(jù)管理省心可靠

此外,針對(duì)數(shù)據(jù)訪問(wèn)協(xié)議多樣性痛點(diǎn),曙光ParaStor同時(shí)支持文件、對(duì)象等多種存儲(chǔ)協(xié)議,可為大模型提供統(tǒng)一的存儲(chǔ)底座。為實(shí)現(xiàn)數(shù)據(jù)全生命周期管理,曙光ParaStor具備熱溫冷數(shù)據(jù)智能分級(jí)流動(dòng),支持給數(shù)據(jù)自定義標(biāo)簽,過(guò)期后自動(dòng)刪除。

對(duì)于AI數(shù)據(jù)存儲(chǔ)的安全可靠,曙光ParaStor憑借全棧自研能力,從操作系統(tǒng)、存儲(chǔ)架構(gòu)、軟件核心模塊、存儲(chǔ)介質(zhì)等多層面保障數(shù)據(jù)安全。提升存儲(chǔ)可靠性,降低數(shù)據(jù)管理成本,讓用戶省心省力。

目前,曙光存儲(chǔ)為國(guó)內(nèi)某AI新經(jīng)濟(jì)獨(dú)角獸大模型平臺(tái)構(gòu)建了PB級(jí)NVMe全閃存高性能存儲(chǔ)池,從硬件設(shè)施到軟件系統(tǒng),性能、可靠性、安全性皆滿足需求指標(biāo),為多個(gè)領(lǐng)域帶來(lái)增效降本、可靠安全的存儲(chǔ)方案。

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
CXDB35/10A 1 Altech Corporation Terminal and Terminal Block,
$10.28 查看
MURS120T3G 1 onsemi Power Rectifier, Ultra-Fast Recovery, 1 A, 200 V, SMB, 2500-REEL

ECAD模型

下載ECAD模型
$0.19 查看
C0402C103K3RACTU 1 KEMET Corporation Capacitor, Ceramic, Chip, General Purpose, 0.01uF, 25V, ±10%, X7R, 0402 (1005 mm), -55o ~ +125oC, 7" Reel/Unmarked

ECAD模型

下載ECAD模型
$0.13 查看

相關(guān)推薦