芯耀
981
編譯?|??程茜
編輯?|??心緣
數(shù)據(jù)中心、視頻壓縮、更快算法！谷歌DeepMind亮出AGI時代三大工具。
智東西6月8日消息，6月7日晚，人工智能研究實驗室Google DeepMind發(fā)布三大AI工具AlphaZero、MuZero、AlphaDev，這些工具可以提高數(shù)據(jù)中心資源利用率、提升視頻壓縮效率、發(fā)現(xiàn)更快算法，從而優(yōu)化整個計算生態(tài)系統(tǒng)。
昨天，AlphaDev的相關進展已經(jīng)登上國際學術頂刊Nature。AlphaZero的專用版本AlphaDev還發(fā)現(xiàn)了新算法，可以將短元素序列的排序效率提高70%?，F(xiàn)在，AlphaDev的新排序算法已發(fā)布到C++庫中。Google DeepMind的博客稱，這是十多年來排序庫算法的第一次變化，也是第一次將通過強化學習設計的算法添加到該庫中。散列算法也已經(jīng)發(fā)布到開源Abseil庫中。
C++庫開源鏈接：https://reviews.llvm.org/D118029
論文鏈接：https://www.nature.com/articles/s41586-023-06004-9
Google DeepMind正在努力創(chuàng)建對世界具有廣泛理解的AI工具來優(yōu)化計算生態(tài)系統(tǒng)，作為構建更加強大和通用人工智能系統(tǒng)的一部分。
研究人員還在擴展基于強化學習的谷歌AI模型AlphaZero、MuZero的能力，用來幫助優(yōu)化數(shù)據(jù)中心的視頻壓縮，使得數(shù)據(jù)中心未充分利用的硬件數(shù)量減少19%，以及在不損失視頻質量的同時，進一步降低比特率。
這些工具目前實現(xiàn)了整個計算生態(tài)系統(tǒng)中效率的提升，但這些結果也證明了未來更通用的人工智能工具具有變革的潛力。
01.AlphaDev：排序效率提升70%、檢索效率提升30%，數(shù)百萬開發(fā)人員已應用
此前，Google DeepMind開發(fā)了一個用于玩圍棋游戲的AI系統(tǒng)AlphaZero，現(xiàn)在研究人員將這一系統(tǒng)應用到了構建算法排序中打造了AlphaDev，其結果顯示，AlphaDev創(chuàng)建的算法在轉換為標準編程語言C++時，排序數(shù)據(jù)的速度是人類生成版本的三倍。“我們有點震驚?！鳖I導這項工作的Google DeepMind計算機科學家Daniel Mankowitz說，“起初我們不相信（這個結果）。”
AlphaDev可以被用于快速排序（faster sorting）和散列算法（hashing algorithms），這兩種算法每天會被使用數(shù)萬億次來對數(shù)據(jù)進行排序、存儲、檢索。
1、下象棋到找算法，短元素排序效率提高70%
排序算法會影響所有數(shù)字設備處理和顯示信息的方式，包括一些在線搜索結果的呈現(xiàn)、社交媒體上帖子的排名以及一些用戶推薦內(nèi)容。
AlphaDev研發(fā)了一種可以提升排序效率的算法，并且該算法與C++庫中人類設計的算法相比可以將短元素序列的排序效率提高70%，將超過25萬個元素的序列排序效率提高約1.7%。這也使得當用戶提交搜索查詢時，AlphaDev的算法可以快速對結果進行排序，以更快找到與用戶搜索相關度高的答案。
剛開始，研究人員將AlphaDev應用于按大小對數(shù)字進行排序的任務，剛開始只是讓其一次對3、4、5個數(shù)字進行排序，這對于后續(xù)讓其進行較多數(shù)字排序很重要。
▲對兩個數(shù)字進行排序
AlphaDev的工作方式與AlphaZero類似，后者結合了計算機版本的深思熟慮和直覺來選擇棋盤游戲中的動作。AlphaDev則不會選擇動作，它會選擇指令添加到一個過程中。AlphaDev通過從頭開始而不是改進現(xiàn)有算法來發(fā)現(xiàn)更快的算法，并且它會關注計算機的匯編指令。匯編指令用于為計算機創(chuàng)建二進制代碼以執(zhí)行操作，Google DeepMind的研究人員認為，在這個較低層次上會有很多可以改進的地方。
在構建算法時，AlphaDev會通過將算法的輸出與預期結果進行比較來檢查它是否正確。對于排序算法，這意味著無序數(shù)字進入，正確排序的數(shù)字出來。研究人員會獎勵AlphaDev對數(shù)字的正確排序以及排序的速度和效率。
2、數(shù)據(jù)存儲節(jié)省近70%時間，算法已經(jīng)開源
Google DeepMind團隊還將AlphaDev應用于非排序算法，它用于將特定格式存儲的數(shù)據(jù)轉換為字節(jié)的算法版本比標準版本少用了67%的時間，用于數(shù)據(jù)存儲和檢索的散列算法比標準算法花費的時間少30%。
散列信息算法通常用于在數(shù)據(jù)庫中進行存儲和檢索。散列算法通常使用一個關鍵詞來生成一個對應的唯一散列，這一散列就會對應于需要檢索的數(shù)據(jù)值，如輸入關鍵詞用戶名“Jane Doe”，會生成檢索對應的“訂單號164335-87”。
一個較為相似的場景是，圖書管理員通過分類系統(tǒng)來快速查找特定書籍，計算機借助散列算法，就可以快速理解它要找什么以及在哪里能找到。
▲輸入關鍵詞檢索對應數(shù)據(jù)值
當應用于數(shù)據(jù)中心9-16字節(jié)范圍的散列算法時，AlphaDev的算法能將檢索效率提升30%。
去年1月，Google DeepMind的研究人員在LLVM項目的C++標準庫中發(fā)布了基于機器學習的排序算法，在Abseil庫發(fā)布了散列算法，目前，已經(jīng)有云計算、在線購物、供應鏈管理等行業(yè)的數(shù)百萬開發(fā)人員和公司正在應用這些算法。
02.AlphaZero：優(yōu)化數(shù)據(jù)中心資源硬件充分利用率提高19%
數(shù)據(jù)中心需要管理從提供搜索結果到處理數(shù)據(jù)集的一切任務。谷歌大規(guī)模集群管理系統(tǒng)Borg管理著谷歌的數(shù)十億個任務，同時這一系統(tǒng)還要去分配工作負載來優(yōu)化數(shù)據(jù)中心的內(nèi)部基礎設施，并處理谷歌搜索等用戶使用的服務，管理批處理。
分配工作負載這一過程就像Borg在玩俄羅斯方塊，如何在有限的空間內(nèi)，最大程度地放置更多的方塊，把空余的位置都利用起來。
▲將分配工作負載比喻為俄羅斯方塊游戲
此前，Borg需要使用手動編碼的規(guī)則來安排任務，優(yōu)化工作負載。但面對龐大如數(shù)十億個任務的規(guī)模時，這些手動編碼的規(guī)則無法考慮不斷變化的工作負載分布的多樣性，因此它們被設計為“最適合所有人的一種尺寸”，也就是選擇了一個中間值。
在這一場景下，AlphaZero就派上了用場，其構建的算法能夠自動創(chuàng)建單獨的最佳定制規(guī)則，這些規(guī)則使得Borg在分配工作負載時更加高效，能找到適合不同任務的規(guī)則。
研究人員在實驗期間發(fā)現(xiàn)，AlphaZero還能識別進入數(shù)據(jù)中心的任務的模式，以及預測管理容量的最佳方法，并做出具有最佳長期結果的決策。
當AlphaZero應用于Borg時，研究人員的實驗表明，這種方法可以將未充分利用的硬件數(shù)量減少多達19%，優(yōu)化谷歌數(shù)據(jù)中心的資源利用率。
03.MuZero：編碼視頻圖片組壓縮比特率降低4%
在互聯(lián)網(wǎng)中，視頻流會占據(jù)其流量的相當大一部分，因此，如果能提升視頻傳輸?shù)男?，將會對每天觀看視頻的數(shù)百萬人產(chǎn)生巨大影響。
去年，Google DeepMind與視頻網(wǎng)站YouTube合作，通過MuZero來壓縮和傳輸視頻，其結果顯示，這一工具能在不影響視頻質量的情況下將比特率降低4%。
早期，研究人員將MuZero應用于優(yōu)化視頻中每個單獨幀的壓縮，現(xiàn)在，他們將其擴展至決定在編碼過程中如何對幀進行分組和引用。
最開始，MuZero會定義要壓縮的GOP（group of pictures，圖片組）幀，然后根據(jù)圖片的視覺相似性進行分組。MuZero會將其中一個圖片組的關鍵幀進行壓縮，再參考關鍵幀去壓縮其它幀，在這一過程中，該算法會通過塊搜索（block search）來查找圖片中變化最小的區(qū)域，使得壓縮效果更好還能保證視頻質量。
▲MuZero壓縮圖片組
最后，一組圖片組壓縮完成后，MuZero再按照同樣的步驟完成視頻其它部分圖片組的壓縮。
這些研究的早期結果表明MuZero有潛力成為一個更通用的工具，幫助研究人員在視頻壓縮過程中找到最佳解決方案。
04.結語：通用人工智能工具的變革潛力已經(jīng)凸顯
當下，Google DeepMind的AI工具正在使得數(shù)十億用戶在使用計算機的過程中節(jié)省時間和精力，包括從玩游戲到解決每臺計算機設備核心的復雜工程問題。研究人員認為，這僅僅是個開始。
未來，越來越多的通用人工智能工具或許可以優(yōu)化為數(shù)字世界提供動力的整個計算生態(tài)系統(tǒng)，但與此同時，支持這些工具背后的數(shù)字基礎設施需要更快、更高效、更可持續(xù)。因此，這一愿景的實現(xiàn)需要更多理論和技術上的突破。
不可否認的是，通用人工智能工具的變革潛力已經(jīng)顯現(xiàn)出來，并且研究人員已經(jīng)開始考慮將其應用于技術、科學和醫(yī)學等領域。
