• 正文
    •  
    • 共享算力:分布式計算的全民版本
    • 方興未艾,自有擔當:中國云計算的今日景況
  • 相關(guān)推薦
申請入駐 產(chǎn)業(yè)圖譜

英偉達的“GPU共享抗疫法”,為什么沒能走進中國方案?

2020/03/20
46
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

它來了它來了,它帶著 AI 方案走來了!

海外疫情的日益嚴峻,AI 投身抗疫的海外版也陸續(xù)上線。

在諸多項目中,共享算力方案聽起來格外耳熟。有點像中國人民“躺在家為國做貢獻”類似,英偉達號召游戲玩家們“開電腦為抗疫做貢獻”。,吁 PC 玩家們捐獻自家 GPU/CPU 的閑置算力,支援斯坦福大學(xué)的分布式計算 Folding@home(FAH)項目,以彌補病毒研究算力的不足。

英特爾、MSI 微星等巨頭和網(wǎng)友們也紛紛響應(yīng),表示自己準備好了:為了拯救世界,多掏點電費算什么!MSI 甚至用了“復(fù)仇者聯(lián)盟”終局之戰(zhàn)的配圖,用“人人都是超級英雄”來瘋狂暗示。

不過,共享算力能否為抗擊新冠病毒起到作用?為何在中國抗疫方案中卻沒有見到它的身影呢?

?

共享算力:分布式計算的全民版本

想要了解共享算力對于抗擊新冠病毒的價值,要從斯坦福大學(xué) Pande 實驗室發(fā)起的 Folding@home 說起。

所謂算力共享,是指依托建立的網(wǎng)絡(luò)信息中心,運用云端分布式計算技術(shù)實現(xiàn)網(wǎng)絡(luò)算力的互聯(lián)共享,以達成分析計算。

比如這次用于抗擊新冠疫情的 Folding@home,就是目前世界上最大的分布式計算計劃(2007 年吉尼斯世界紀錄),主要用于疾病的 AI 研究,為蛋白質(zhì)折疊、聚合及由此引起的相關(guān)疾病,進行藥物計算設(shè)計和其他分子動力學(xué)研究。

自 2000 年 10 月 1 日啟動以來,已經(jīng)吸引了英偉達、索尼等商業(yè)巨頭的參與,成功模擬 5-10 微秒的折疊過程。目前,F(xiàn)olding@home 所有的 GPU 項目,也都瞄準了 COVID-19 ,旨在找到它的潛在藥物靶標,未來 CPU 項目也會盡快加入。

玩家的參與方式,需要在項目客戶端上選擇“Any disease”,就會收到相關(guān)需求,根據(jù)其進行客戶端設(shè)置就好。然后 Folding@home 就會在后臺,以非常的優(yōu)先級,也就是在計算機空閑時來供給案例,不必擔心會影響游戲、視頻等正常的計算機體驗。

而在疫情爆發(fā)之前,算力共享也已經(jīng)有了不少成熟應(yīng)用。

早在 2002 年就建立的項目“BOINC 算力地球”,就號稱能夠幫助普通人的電腦實現(xiàn)和外星文明的“第五類接觸”。

C 端用戶允許 BOINC 在閑置時調(diào)用個人的 CPU 和 GPU 計算能力,支持數(shù)學(xué)、醫(yī)學(xué)、天文學(xué)、氣象學(xué)等各個領(lǐng)域的科學(xué)研究。英國牛津大學(xué)就曾使用 BOINC 的算力來預(yù)測未來 100 年全球氣候變化。

過去十幾年間 BOINC 平臺的算力資源一直在持續(xù)增長。截至 2019 年 3 月,已經(jīng)有超過 440 萬的志愿用戶加入 BOINC ,日活的主機大約 60 萬臺,貢獻出大概 30 PFLOPS 的算力。如果按照 AWS 服務(wù)器同等體量的算力租金來計算的話,共享一年的價值就相當于全球 PC 用戶為科研捐出了 5000 萬美元。

而 BOINC 的創(chuàng)建者,正是加州大學(xué)伯克利分校分布式計算領(lǐng)域的著名科學(xué)家 David Anderson。

BOINC 支援過最大的項目,是加州大學(xué)伯克利分校發(fā)起的、搜索外星智能生物的計算資源共享計劃 SETI@HOME。分析位于波多黎各阿雷西博天文臺和望遠鏡,以及位于維吉尼亞州的綠岸天文望遠鏡(Green Bank Telescope)所搜集到的無線電信號,來尋找外星高等智能生物存在的證據(jù),是一個龐大的運算工程。

1999 年 5 月 17 日啟動至今,吸引了全世界超過 500 萬個用戶,有超過 71 萬臺活躍主機,每天提供約 30PetaFLOPS 的運算能力。

當然,分布式計算平臺真正大規(guī)模走入人們的視野,還離不開“挖礦”的市場化洗禮。

2017-2018 年,區(qū)塊鏈(尤其是數(shù)字貨幣)的火熱也帶動了“共享算力經(jīng)濟”,出現(xiàn)了眾多可以出租個人計算機資源的平臺。用戶將帶顯卡的機器托管到礦池里,把剩余算力租賃給“礦場”挖礦來獲得收益,平臺也得以降低虛擬幣的算力成本。

那么,共享算力作為分布式計算的“民主化版本”,究竟有哪些利與弊呢?

豐滿理想與骨感現(xiàn)實:共享算力的真實面貌

國王說?:“親愛的大臣,昨晚我夢見一個數(shù)字,是 190554261410902619,我不知道這個數(shù)是不是一個素數(shù),我需要最快知道答案。”

大臣回答?:“陛下,我也不知道,不過,我們剛給王國里的每個百姓按自然數(shù)順序編了身份證號碼,只要發(fā)布命令,讓每個人用自己的號碼去除國王所夢見的數(shù)字,很快就能得到答案?!?/p>

命令發(fā)布后的第二天,國王就收獲了兩個報告?,一個是 456275009,另一個是 456275291。

這個故事中,就蘊涵了分布式計算的思想。

一方面,信息技術(shù)的飛速發(fā)展、人工智能的產(chǎn)業(yè)化浪潮,讓處理、分析海量數(shù)據(jù)的算力,成了新的關(guān)鍵資源。

比如分析蛋白質(zhì)這類項目,涉及到復(fù)雜的模型結(jié)構(gòu)和龐大的計算量,即便是利用超級計算機也需要消耗很長的時間,以及高昂的服務(wù)器租賃成本。

如果能讓許多計算機參與到運算過程中,將需要大量計算的項目分割成小塊,由由多臺計算機同時處理,再上傳運算結(jié)果后統(tǒng)一合并得出數(shù)據(jù)結(jié)論,過程就能夠大為縮短。

而且,與中心化的商業(yè)云計算平臺不同,大量個人計算機的用戶都存在一定的資源閑置。

有統(tǒng)計顯示,全球的電腦年出貨量是 2 億臺,以每五年為一個更換周期來計算,全球大概有 10 億臺電腦隨時保持運行的狀態(tài),但利用率只有 20-30%,絕大部分時間都在閑置狀態(tài)。

如果讓它們成為分布式計算的節(jié)點,以公益捐贈或者小成本購買的方式,那些因無力支付算力費用而停滯的項目因此獲得支持,按需取用,豈不是人類的科技進程都要加快很多?

當然,共享算力這事兒出道多年,始終沒有收獲規(guī)?;?的個人用戶支持,背后一定是有其特殊的原因。

首先,共享算力一般會發(fā)生在高度公益屬性,或是具備高度經(jīng)濟收益的項目上。

個人閑置算力的確資源龐大,而且成本低廉,試問誰不想在這場算力圈地運動中“一呼百應(yīng)”呢?畢竟云服務(wù)商自己搭建數(shù)據(jù)中心,還要投入機房、房租、電費、運維等等成本。如果讓全民為自己打工,這種場景你仔細想……你想得美!

要知道,就算平臺的信譽有所保證,用戶在共享閑置算力時電腦也要持續(xù)運行,尤其是使用 GPU 計算時,會一直會保持在滿負載運行狀態(tài),耗電量也必然會增大,有的還會占用軟件內(nèi)存導(dǎo)致卡頓,設(shè)備的耐久性和壽命也會因此打折扣。

所以除非有足夠的理由驅(qū)使,比如為了人類命運共同體協(xié)力抗擊病毒,亦或是給予充分的經(jīng)濟回報,比如挖礦,否則很難調(diào)動起大多數(shù)人的積極性。

其次,就算是值得托付的項目 / 平臺,也未必能管理好共享資源。

一方面,分布式計算只適合那些能夠通過計算來解決全部或部分問題的研究,而且計算過程還需要容易被分割成個人計算機處理能力可接受的大小,這就限制了許多研究采用“共享模式”來進行。

另一方面,項目方 / 平臺方需要管理海量用戶的 GPU/CPU 硬件資源,但商業(yè)競爭的關(guān)系,GPU 的設(shè)計細節(jié)并未公開,不同廠商產(chǎn)品也存在很大的差異。而且算力上傳到云端虛擬化還會產(chǎn)生性能損耗,這都增加了其部署和管理的難度。

這也是為什么,在上線 21 年后,SETI @ Home 決定在今年 3 月 31 日終止向志愿者分配作業(yè)。項目小組解釋,是因為已經(jīng)分析完所有需要的數(shù)據(jù),而且數(shù)據(jù)的分布式計算管理很費事,專案小組決定把精力放在完成數(shù)據(jù)的后端分析,和撰寫論文上面。

第三,能將共享資源效率最大化的平臺,必然具備強大的技術(shù)能力,這也限制了共享項目的擴張。

因為對海量個人算力的云端虛擬化、調(diào)配,需要部署分布計算環(huán)境(也稱為中間件),用來提供公共服務(wù),支持分布式應(yīng)用,否則,項目人員就不得不解決多種操作系統(tǒng)、多種網(wǎng)絡(luò)協(xié)議、多種數(shù)據(jù)庫、性能、效率、安全等等,與業(yè)務(wù)本身沒有直接關(guān)系的難題。

比如虛擬化技術(shù),多核 CPU 和擁有大量核數(shù)的 GPU 出現(xiàn),讓計算機性能得到數(shù)量級提高的同時,也加大了共享的部署難度,很容易造成 GPU 密集型負載的性能混亂和資源浪費,這就需要通過虛擬化來對豐富的計算資源進行抽象和模擬,讓算力達到原生 GPPU/CPU 的性能,同時成千上萬個應(yīng)用相互之間沒有任何干擾。

這樣功能強大、穩(wěn)定統(tǒng)一的技術(shù),主要還是掌握在云計算廠商手中。

這或許也從某個層面,解釋了中國的 AI 抗疫動作里,暫時還沒有出現(xiàn)“全民共享 GPU”這個選項。

方興未艾,自有擔當:中國云計算的今日景況

其一,中國云計算產(chǎn)業(yè)規(guī)模不斷增長,擁有相對充足的算力資源。

在過去的數(shù)年間,從國家政策到企業(yè)需求,推動了國內(nèi)云計算產(chǎn)業(yè)規(guī)模的高速增長。信通院、IDC 等研究機構(gòu)發(fā)布的數(shù)據(jù)顯示,2018 年,中國云計算產(chǎn)業(yè)規(guī)模達到 962.8 億元人民幣,較 2017 年增長 39.2%,2019 年產(chǎn)業(yè)規(guī)模則預(yù)計超過千億,達到 1290.7 億元人民幣。眾多省市都在建設(shè)超級計算中心,這為抗疫期間 AI 算力的緊缺需求,提供了高效戰(zhàn)略調(diào)動的前提。

第二,中國云服務(wù)廠商市場份額和技術(shù)能力趨于世界前列,在疫情危急關(guān)頭挺身而出開放算力。

IDC《全球公有云服務(wù)市場跟蹤》報告顯示,中國公有云服務(wù)整體市場規(guī)模(IaaS/PaaS/SaaS)超 40 億美金,中國云廠商占據(jù)了全球四強席位。

而這些科技企業(yè)的加入,也撐起了算力需求的江山。阿里云宣布向全球公共科研機構(gòu)免費開放一切 AI 算力,百度研究院免費開放線性時間算法 LinearFold 以及世界上現(xiàn)有最快的 RNA 結(jié)構(gòu)預(yù)測網(wǎng)站;滴滴云也免費開放了 GPU 云計算資源和技術(shù)支持,用于抗擊疫情相關(guān)工作……此外,一些云服務(wù)廠商也在積極研發(fā),并無償開放多款專門針對疫情調(diào)研、排查、防控的智能服務(wù)產(chǎn)品,比如至少阿里、騰訊、字節(jié)跳動、華為等云協(xié)同辦公廠商先后免費開放多項功能,上海經(jīng)信委與各運營商商議提供 6 個月以上云辦公、云視頻會議的免費服務(wù)……

有這么多算力巨無霸撐起了計算資源的硬核輸入,自然也就不需要號召全民開機、支持抗疫了。

從這個角度來說,爭分奪秒的“GPU 抗疫”,既是對與新型冠狀病毒賽跑的科研人員的強有力支持,也是一個全球云計算業(yè)態(tài)的最佳側(cè)寫。

英偉達

英偉達

NVIDIA(中國大陸譯名:英偉達,港臺譯名:輝達),成立于1993年,是一家美國跨國科技公司,總部位于加利福尼亞州圣克拉拉市,由黃仁勛、克里斯·馬拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同創(chuàng)立。公司早期專注于圖形芯片設(shè)計業(yè)務(wù),隨著公司技術(shù)與業(yè)務(wù)發(fā)展,已成長為一家提供全棧計算的人工智能公司,致力于開發(fā)CPU、DPU、GPU和AI軟件,為建筑工程、金融服務(wù)、科學(xué)研究、制造業(yè)、汽車等領(lǐng)域的計算解決方案提供支持。

NVIDIA(中國大陸譯名:英偉達,港臺譯名:輝達),成立于1993年,是一家美國跨國科技公司,總部位于加利福尼亞州圣克拉拉市,由黃仁勛、克里斯·馬拉科夫斯基(Chris Malachowsky)和柯蒂斯·普里姆(Curtis Priem)共同創(chuàng)立。公司早期專注于圖形芯片設(shè)計業(yè)務(wù),隨著公司技術(shù)與業(yè)務(wù)發(fā)展,已成長為一家提供全棧計算的人工智能公司,致力于開發(fā)CPU、DPU、GPU和AI軟件,為建筑工程、金融服務(wù)、科學(xué)研究、制造業(yè)、汽車等領(lǐng)域的計算解決方案提供支持。收起

查看更多

相關(guān)推薦

登錄即可解鎖
  • 海量技術(shù)文章
  • 設(shè)計資源下載
  • 產(chǎn)業(yè)鏈客戶資源
  • 寫文章/發(fā)需求
立即登錄