最新MLCommons結(jié)果公布： 第五代至強可擴展處理器AI成果分享

第五代至強可擴展處理器的最新MLPerf測試結(jié)果充分展示了英特爾及其生態(tài)合作伙伴在提升生成式AI性能方面的成果。

近日，MLCommons公布了針對AI推理的MLPerf v4.0基準測試結(jié)果。其中，內(nèi)置了英特爾?高級矩陣擴展（英特爾? AMX）的第五代英特爾?至強?可擴展處理器（以下簡稱“第五代至強”）在測試中表現(xiàn)優(yōu)異，進一步彰顯了英特爾致力于通過豐富且具有競爭力的解決方案推動 “AI無處不在”的承諾。截至目前，英特爾仍是唯一一家提交MLPerf測試結(jié)果的CPU廠商。與第四代至強在MLPerf推理v3.1基準測試中的結(jié)果相比，第五代至強的測試結(jié)果平均提升1.42倍。

英特爾公司副總裁兼數(shù)據(jù)中心與人工智能事業(yè)部產(chǎn)品管理總經(jīng)理Zane Ball表示：“我們將持續(xù)提升CPU和加速器等廣泛產(chǎn)品組合在行業(yè)基準測試中的AI性能。此次全新的MLCommons結(jié)果顯示，我們提供的AI解決方案能夠滿足客戶不斷變化、多樣化的AI需求。同時，至強處理器也為客戶提供了可快速實現(xiàn)AI部署，且極具性價比的選擇?！?/p>

英特爾產(chǎn)品迄今為止在多輪MLPerf基準測試中均所展示出領(lǐng)先的訓(xùn)練及推理性能，該測試結(jié)果亦為客戶樹立了可用于評估產(chǎn)品AI性能的行業(yè)標準。

關(guān)于第五代至強的測試結(jié)果：

與第四代至強在MLPerf推理v3.1性能基準測試中的表現(xiàn)相比，經(jīng)由硬件及軟件優(yōu)化的第五代至強性能平均提升1.42倍。其中，針對具備連續(xù)批處理（continuous batching）等軟件優(yōu)化的GPT-J模型，與v3.1的測試結(jié)果相比，第五代至強的性能提升約1.8倍；同樣，得益于MergedEmbeddingBag以及基于英特爾AMX的其他優(yōu)化，DLRMv2的測試結(jié)果顯示出約1.8倍的性能提升和99.9的準確率。

第五代英特爾?至強?可擴展處理器

與此同時，英特爾非常自豪地與包括思科、戴爾、廣達、Supermicro和緯穎科技在內(nèi)的廣大OEM伙伴們展開合作，助力其提交基于自身產(chǎn)品的MLPerf測試結(jié)果。英特爾不僅于2020年開始提交基于第四代至強的測試結(jié)果，同時至強可擴展處理器亦是參與MLPerf測試的產(chǎn)品中，眾多加速器的主機CPU。 此外，第五代至強可在英特爾?開發(fā)者云平臺上進行評估。該環(huán)境中，用戶可以進行小型及大規(guī)模AI訓(xùn)練（譬如大語言模型或生成式AI）、運行大規(guī)模的推理工作負載，以及管理AI計算資源等。