• 正文
    • ChatGPT到底是個什么鬼?
    • ChatGPT背后的芯片
    • 結(jié)語
  • 相關(guān)推薦
申請入駐 產(chǎn)業(yè)圖譜

ChatGPT爆火,能帶飛哪些芯片?

2023/02/15
1687
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點資訊討論

最近兩周,全球人民都想和一個叫ChatGPT的聊天,搞得服務(wù)器兩天宕機了五次......

這個在去年11月底,由人工智能實驗室OpenAI推出的AI程序,上線5天內(nèi)收獲超100萬的注冊量,到今年1月末已經(jīng)突破1億!要知道,TikTok達成1億小目標花了9個月,Twitter可是用了60個月!這“漲粉”速度不去帶貨真是可惜了......

能瞬間在全球范圍內(nèi)成為“當紅炸子雞”,并且讓中國AI概念股股民狂喜的ChatGPT到底是何方神圣?它的爆火說明了什么?它的背后又和芯片有哪些關(guān)系?

閱讀本文,你將了解以下內(nèi)容:

1. ChatGPT是什么?

2. ChatGPT背后的芯片

ChatGPT到底是個什么鬼?

官方點說,ChatGPT是由OpenAI開發(fā)的一個人工智能聊天機器人程序。將它的名字拆開來,“Chat”指聊天,就是它的展現(xiàn)形式;“GPT”則代表Generative Pre-trained Transformer(生成型預(yù)訓練變換模型),即支撐它運行的預(yù)訓練模型。ChatGPT使用了Transformer架構(gòu)并訓練了大量的文本數(shù)據(jù),能夠進行語言翻譯、問答、對話等任務(wù)。

從體驗上來說,它像是有想法、會學習的高階版“小愛同學”,能通過不斷的對話記住你提供的信息,來不斷豐富自己的語料庫并提供答案。

沒錯,在你對面的,是一個真正的工具“人”。

ChatGPT眼中的自己

AI出現(xiàn)了那么久?為什么這個這么火爆?

GPT的核心結(jié)構(gòu)是Transformer。想要完整了解ChatGPT,得先從它說起。

Transformer是是一種采用自注意力機制的深度學習模型。簡而言之,神經(jīng)網(wǎng)絡(luò)是一種非常有效的模型類型,用于分析圖像、視頻、音頻和文本等復雜數(shù)據(jù)類型。

在它之前,我們使用深度學習來處理輸入序列的方式是使用一種叫做循環(huán)神經(jīng)網(wǎng)絡(luò)的RNN的模型。它要求輸入的數(shù)據(jù)必須順序正確,因為它只能按順序一對一的輸出,所以RNN很難達到并行化,這意味著我們不能通過使用更多的GPU來加快訓練。

來源:知乎用戶@張俊林

Transformer則能夠一次性處理所有輸入數(shù)據(jù),不再要求順序準確,可以非常有效地進行并行化操作。也就是說,如果有合適的硬件條件,我們可以訓練一些真正的大模型。

來源:知乎用戶@張俊林

GPT便是以此架構(gòu)為基礎(chǔ)誕生的。

第一代的GPT-1在2018年發(fā)布,首次采用了 Transformer 架構(gòu)作為特征抽取器,解決了傳統(tǒng) RNN 結(jié)構(gòu)的缺陷與效率問題。然而,當時的數(shù)據(jù)量只有1億多,和現(xiàn)在動輒千億比起來少得可憐,因此它的表現(xiàn)并不好,只在問題回答、語義相似度評估、語義確定、文本分類任務(wù)中簡單應(yīng)用。畢竟數(shù)據(jù)量越大,機器學習得以學習的基礎(chǔ)越多,效果更精準、更智能的可能性就越高。

GPT-2在下一年發(fā)布,底層架構(gòu)沒變,參數(shù)量有了大幅的提升。到了GPT-3,模型參數(shù)達到了1750億個,它已經(jīng)可以完成答題、寫論文、文本摘要、語言翻譯和生成計算機代碼等真正意義的 AI 創(chuàng)作。

為什么前面幾版都悄無聲息,到了ChatGPT突然大爆了呢?

簡單來說,就是能力發(fā)生了質(zhì)變,一下子變得好“牛”。

ChatGPT是在GPT-3衍生而出的GPT3.5上進行微調(diào)而誕生。

ChatGPT 采用了 RHLF (Reinforcement Learning from Human Feedback,基于人類反饋的強化學習)算法,采用人工標注的方式將NLP(Natural Language Processing,自然語言處理)和RL(Reinforced Learning 強化學習)結(jié)合起來,極大地提升了模型效率和學習能力。

此前的GPT-2和GPT-3為了大幅增加參數(shù)量,都采用無監(jiān)督學習模式,也就是輸入一堆數(shù)據(jù),讓模型自己去學,不進行人工干涉。而到了ChatGPT,為了讓他更好用,引入了人工標注數(shù)據(jù)和強化學習,可以讓大模型更理解信息的含義,并進行自我判斷——也就是更貼近理想中的人工智能效果。也就是說,以前對的錯的一起全吸收了,現(xiàn)在則有人告訴它對錯,讓他更懂。

就像我們在使用ChatGPT的時候,前面問得越多、給出的信息越多,它提供的回答便會更符合我們的要求。


只要鋪墊夠多,2+5也可以是8

ChatGPT 代表著 AI 技術(shù)的新一輪突破,并且大概率預(yù)示著 NLP 技術(shù)有望迅速進入平民化應(yīng)用時代,相關(guān)技術(shù)不僅對眾多的 C 端應(yīng)用帶來革新,同時也將對 B 端應(yīng)用產(chǎn)生重大影響。

微軟在2月7日宣布將ChatGPT引入旗下的搜索引擎必應(yīng)和Edge瀏覽器。這一下子讓整個互聯(lián)網(wǎng)圈炸開了鍋,一些龍頭企業(yè)火速跟上:谷歌宣布推出AI對話機器人“Bard”(吟游詩人);百度宣布類似ChatGPT的項目“文心一言”3月面世......

短時間內(nèi)重磅消息頻出,ChatGPT終于破圈,遍地開花。

ChatGPT背后的芯片

一般內(nèi)容創(chuàng)作分為三個階段:專業(yè)生產(chǎn)內(nèi)容(PGC)、用戶生產(chǎn)內(nèi)容(UGC)、AI生產(chǎn)內(nèi)容(AI Generated Content,AIGC)。早期專業(yè)視頻門戶網(wǎng)站采用PGC模式,而現(xiàn)在一些主流的社交平臺如抖音、小紅書、微博等是以UGC為核心的傳播方式。

目前以PGC、UGC為主,AIGC為輔,AIGC被認為是繼PGC和UGC后,新的內(nèi)容創(chuàng)作方式。

ChatGPT只是AIGC中的一環(huán),如AI寫作、AI作曲以及此前爆火的AI繪畫等都屬于AIGC中的一種。隨著AI技術(shù)的成熟,過去的“人工智障”已經(jīng)蛻變成“數(shù)字人”,在娛樂、金融、零售業(yè)等發(fā)揮著作用:早在2016年的里約奧運會上,寫稿機器人就參與了賽事報道。光百度推出的數(shù)字人系列就包括AI手語主播、虛擬偶像、虛擬編輯等,其AI技術(shù)已經(jīng)用于央視,并參與了去年兩會的報道。

ChatGPT是一種基于大規(guī)模語言模型的超智能對話AI產(chǎn)品,無論是探討概念化的AIGC,還是爆火的ChatGPT,本質(zhì)上是在探討其背后的AI產(chǎn)業(yè)鏈。

人工智能三大要素:數(shù)據(jù)、算法、算力,這三大要素相輔相成,缺一不可。

如前文所述,ChatGPT是基于OpenAI的第三代大模型GPT-3升級而來,從GPT一代到三代,模型參數(shù)量已經(jīng)來到1750億個,理論上參數(shù)量會隨著算力的增長而增長,極限在哪尚未知。

而算力的來源就是芯片。ChatGPT的爆紅,勢必會推動AI芯片產(chǎn)業(yè)的發(fā)展。

來源:ChatGPT——生成式AI迎來拐點,商用落地前景可期,國泰君安證券

AIGC產(chǎn)業(yè)鏈可以分為計算硬件層、云計算平臺、模型層及應(yīng)用層。雖然ChatGPT比拼的是模型層和應(yīng)用層,但計算硬件層無疑是背后的支柱。

AI算力芯片泛指加速AI類應(yīng)用用,主要分為GPU、FPGA、ASIC。由于CPU的算力很有限,且處理并行操作比較吃力,因此一般將CPU搭配加速芯片使用。具體來看,GPU最初是用于圖像處理的芯片,但其通用性強,適用于大規(guī)模并行計算,且算力遠優(yōu)于CPU,因此很適合人工智能,這一數(shù)據(jù)密集型的應(yīng)用場景;FPGA的優(yōu)勢在于開發(fā)周期短、靈活性高,大量應(yīng)用在線上數(shù)據(jù)中心、軍工領(lǐng)域等;ASIC的優(yōu)勢在于小型化、低功耗、高性能,一般用于消費電子,同時也適合AI運算場景。

ChatGPT背后的計算集群使用的是英偉達的AI芯片。OpenAI曾表示,ChatGPT 是與英偉達和微軟合作完成的超級AI。微軟在自己的云——Azue HPC Cloud中構(gòu)建了超級計算機集群,將其提供給OpenAI。據(jù)悉,該超級計算機擁有 285000個CPU(中央處理器)內(nèi)核和10000多顆AI芯片。

除了算力芯片外,AI對話程序在執(zhí)行計算期間需要大容量、高速的存儲支持,預(yù)計高性能存儲芯片需求也會增長。三星電子就表示,為GPU和人工智能加速器提供數(shù)據(jù)的高性能高帶寬內(nèi)存 (HBM) 的需求將會擴大。從長遠來看,隨著AI聊天機器人服務(wù)的擴展,對用于CPU的128GB 或更大容量的高性能 HBM 和高容量服務(wù)器 DRAM 的需求預(yù)計會增加。

降本、降功耗成為發(fā)展AI專用芯片的方向。據(jù)了解,采購一片英偉達頂級GPU成本為8萬元,GPU服務(wù)器成本通常超過40萬元。對于ChatGPT而言,一次模型訓練成本超過1200萬美元。正如OpenAI CEO SamAltman曾在推文中所說的那樣:“用戶每次與ChatGPT進行聊天,會花費幾美分。”

隨著SoC技術(shù)的發(fā)展,越來越多的企業(yè)開始推出自研的AI專用芯片,如谷歌的張量處理器TPU、英偉達的數(shù)據(jù)處理器(DPU)BlueField系列、百度的昆侖系列、華為的昇騰系列、阿里巴巴平頭哥的含光800等。億歐智庫的數(shù)據(jù)顯示,隨著大算力中心的增加以及終端應(yīng)用的逐步落地,中國AI芯片需求也持續(xù)上漲。2021年疫情緩解,市場回暖,產(chǎn)生較大增幅;類腦等新型芯片預(yù)計最早于2023年進入量產(chǎn),因此2024及2025年或有較大增長,預(yù)計市場規(guī)模將于2025年達到1740億元。

從AI芯片的計算功能來看,由于AI應(yīng)用模型首先要在云端經(jīng)過訓練、調(diào)優(yōu)與測試,計算的數(shù)據(jù)量與執(zhí)行的任務(wù)量數(shù)以萬計,云端訓練需求是AI芯片市場的主流需求。而到后期,訓練好的AI應(yīng)用模型轉(zhuǎn)移到端側(cè),結(jié)合實時數(shù)據(jù)進行推理運算、釋放AI功能,推理需求逐漸取代訓練需求,帶動推理芯片市場崛起。2025年,云端推理與端側(cè)推理成為市場規(guī)模增長的主要拉動力,提升了逐漸下滑的AI芯片市場規(guī)模同比增速。

中國AI芯片市場入局者眾多,海思半導體已成為國內(nèi)營收規(guī)模最大的集成電路設(shè)計企業(yè),以昇騰系列為主要GPU產(chǎn)品,在AI終端芯片具有優(yōu)勢。云端領(lǐng)域,百度可提供云上GPU服務(wù)器;海光信息、天數(shù)智心與登臨科技均以GPU為主打,是國內(nèi)特定細分領(lǐng)域的主要競爭對手。

以下是2022年中國人工智能芯片企業(yè)TOP50:

結(jié)語

早幾年,AI創(chuàng)業(yè)的熱潮、資本的瘋狂涌入還歷歷在目,那時憑空出現(xiàn)的“AI專家”,被搶上天的“AI程序員”,終于在潮水退去后,沉寂下來。ChatGPT的成功破圈,似乎又看到了當初那股子“激情”再現(xiàn)。但ChatGPT還需要多久能落地?落地到底能給人們帶來些什么?落地過程中要花費多少成本?這個成本是否能夠承擔得起?

小冰CEO李笛在談到成本問題時表示,如果用ChatGPT的方法,小冰每天成本將高達3億元,一年成本超千億元。

且不說這沒日沒夜的電費賬單,就高昂的芯片價格和運營成本或許都能勸退不少“雄心壯志”的企業(yè)。所以,ChatGPT能發(fā)展到哪一步?又能帶動高端芯片產(chǎn)業(yè)幾分?一切難以下定論。

相關(guān)推薦

登錄即可解鎖
  • 海量技術(shù)文章
  • 設(shè)計資源下載
  • 產(chǎn)業(yè)鏈客戶資源
  • 寫文章/發(fā)需求
立即登錄