封裝內光I/O能解AI和ML燃眉之急嗎？

人工智能（AI）模型對計算、存儲和數(shù)據(jù)移動有著永不滿足的需求，傳統(tǒng)架構的能力正成為擴展機器學習（ML）的主要瓶頸。當前的困境在于，一些技術方法在電力和能源使用方面遇到了阻礙。

Yole從事光通信和半導體激光器的高級分析師Martin Vallo博士認為：“目前，許多挑戰(zhàn)源于使用電氣I/O。像AI/ML這樣的應用經(jīng)常需要將數(shù)據(jù)從一個芯片快速移動到另一個芯片，或從一塊板快速移動到另外一塊板。因此，計算芯片需要更多的通信，要么通過更多的焊盤，要么在單個焊盤中以非常高的速度通信。”

帶寬需求與日俱增

過去50年，每十年都會出現(xiàn)一次移動技術的創(chuàng)新。移動帶寬需求已從語音通話和短信發(fā)展到超高清（UHD）視頻和各種增強現(xiàn)實/虛擬現(xiàn)實（AR/VR）應用。

盡管新冠疫情對電信基礎設施供應鏈產(chǎn)生了很大影響，但全球消費者和商業(yè)用戶對網(wǎng)絡和云服務產(chǎn)生的新需求有增無減。社交網(wǎng)絡、商務會議、超高清視頻流、電子商務和游戲應用仍將繼續(xù)增長。

現(xiàn)在，每個家庭和人均連接互聯(lián)網(wǎng)設備的平均數(shù)量正在增加。隨著功能和智能不斷增強的新型數(shù)字設備的出現(xiàn)，以及不斷擴展的機器對機器（M2M）應用，如智能電表、視頻監(jiān)控、醫(yī)療保健監(jiān)控、連網(wǎng)驅動器和自動化物流，極大地促進了設備和連接的增長，并推動著數(shù)據(jù)中心基礎設施的擴張。

應運而生的CPO

一些領先的光子學公司正在探索封裝內光I/O技術，以實現(xiàn)計算芯片間的通信。憑借網(wǎng)絡應用，尤其是AI和ML系統(tǒng)，CPO（Co-Packaged Optics，共封裝光學器件）開始引領潮流。

CPO是將光學器件用于非常短的傳輸距離，例如機架內應用或系統(tǒng)內。因此，高性能計算（HPC）及其新的分解架構開始采用新的光學互連——封裝內光I/O技術，將其用于各種處理單元（xPU）、內存和存儲來實現(xiàn)必要的帶寬。

Yole預計，用于HPC的光學I/O將大大加快CPO的部署，到2033年將創(chuàng)造一個價值26億美元的機會之窗，期間復合年增長率為46%。

2022年，CPO市場的收入達到了約3800萬美元，對快速增長的訓練數(shù)據(jù)集大小的預測表明，數(shù)據(jù)將成為擴展ML模型的主要瓶頸，因此AI的進展可能放緩。在ML硬件中使用光I/O可以克服這種負面結果。

2022-2033年數(shù)據(jù)通信光學收入預測

為什么HPC首當其沖？

HPC中的CPO一直備受關注，此前，由于預算削減，CPO社區(qū)面臨艱難時期，因為可插拔器件已可實現(xiàn)CPO的成本節(jié)約和低功耗。而CPO的全面部署只有在可插拔設備壽終正寢時才會發(fā)生。至少，在接下來的兩代交換機系統(tǒng)中，CPO很難與可插拔模塊競爭。

而由于需要提高數(shù)據(jù)中心的網(wǎng)絡功率效率，CPO最近受到了更多關注。分析表明，與直流電的總功耗相比，聯(lián)網(wǎng)節(jié)省的功耗可以忽略不計。博通、英特爾、Marvell及其他CPO公司已將專有解決方案推向市場。為了滿足市場需求并使最終用戶相信CPO的可行性，他們必須證明多供應商商業(yè)模式以及可觀的成本和功耗節(jié)約。

隨著技術進步，通信和計算技術已更緊密地集成在商業(yè)系統(tǒng)中，網(wǎng)絡硬件組件越來越常見。此外，AI模型規(guī)模正在以前所未有的速度增長，傳統(tǒng)架構（銅基電互連）的芯片到芯片或板到板能力將成為擴展ML的主要瓶頸。因此，HPC及新的分解架構出現(xiàn)了極短距離的新型光學互連。

分解設計區(qū)分了服務器卡上的計算、內存和存儲組件，并分別對其進行池化。利用先進的封裝內光I/O技術，將基于光學的互連用于各種xPU，特別是中央處理單元（CPU）、數(shù)據(jù)處理單元（DPU）、圖形處理單元（GPU）、現(xiàn)場可編程門陣列（FPGA）和ASIC和存儲器，以實現(xiàn)必要的傳輸速度和帶寬。

預測表明，2029年之前6.4T光學模塊將投入市場，CPO和可插拔光學器件之間可能會發(fā)生激烈的競爭。在此之前，CPO系統(tǒng)的多個技術障礙將得到解決。不過，收發(fā)器行業(yè)的創(chuàng)新正推動可插拔光學市場。在CPO系統(tǒng)實現(xiàn)網(wǎng)絡應用的批量交付之前，將會先在可插拔設備中采用共封裝方法，受益者是HPC和分類系統(tǒng)光學引擎。

2024年至2026年間，行業(yè)生態(tài)系統(tǒng)，包括Ayar Labs、Intel、Ranovus、Lightmatter、AMD、GlobalFoundries以及其他圍繞ML系統(tǒng)的供應商Nvidia和HPE將批量交付產(chǎn)品。

CPO能解決什么問題？

如今，光纖離芯片組越來越近，用光將數(shù)據(jù)引入集中處理是架構設計師的主要目標之一。這一趨勢始于十年前安裝在PCB上的光學組件專有設計。這些嵌入式光學互連（EOI）在板載光學聯(lián)盟（COBO）中得到了延續(xù)，其規(guī)范允許在網(wǎng)絡設備制造中使用板載光學模塊。

CPO則是一種創(chuàng)新方法，將光學器件和開關專用集成電路（ASIC）緊密結合在一起，以實現(xiàn)功率和成本效益高的CPO。由于在50T開關芯片周圍部署16個3.2Tbps光學模塊是當今的技術挑戰(zhàn)，近封裝光學器件（NPO）通過使用位于主板上的高性能PCB基板（一種插入器）來解決這一問題，而CPO則是在多芯片模塊基板上圍繞芯片部署。NPO插入器更寬，使芯片和光學模塊之間的信號路由更容易，同時滿足信號完整性要求。相比之下，CPO能以更低信道損耗和更低功耗將模塊和主機ASIC拉得更近。

共封裝方法的橫截面

可插拔器件與CPO誰將笑到最后？

Yole預計，800G和1.6T可插拔模塊仍將大受歡迎，因為其利用了100G和200G單波長光學器件的優(yōu)勢，因此可以在QSFP-DD和OSFP-XD尺寸中實現(xiàn)技術和成本效益。

在所需的電密度和光密度、熱管理和能源效率方面，可插拔尺寸支持6.4T和12.8容量的能力將受到限制。由于采用分立電氣架構，功耗和熱管理正成為未來可插拔光學器件的限制因素，而CPO技術平臺可以克服上述挑戰(zhàn)。

不過，數(shù)據(jù)中心運營商更喜歡經(jīng)驗證的低成本和靈活的解決方案。現(xiàn)在，光插拔模塊市場供應鏈日臻完善，涵蓋分立或集成組件供應商、發(fā)射器和接收器光學組件、多路復用器、數(shù)字信號處理器（DSP）和PCB的光學公司，以及組裝/測試集成商。這種多供應商市場涉及許多不同的供應商。此外，一個交換機盒中多個不同可插拔模塊的互操作性也有助于實現(xiàn)靈活性。

只有頭部光學供應商能玩CPO？

CPO的主要優(yōu)勢嚴重依賴于硅光子學，只有高度集成的光學器件和硅芯片，而且要有新的工藝能力和代工廠的加持，才能從可插拔產(chǎn)品轉向CPO。而這只有價值數(shù)十億美元的光學供應商才能實現(xiàn)，傳統(tǒng)中型企業(yè)根本玩不轉。

目前，盡管只有大型云運營商部署了高端CPO解決方案，許多小型企業(yè)數(shù)據(jù)中心沒有采用最新的互連技術，因此該技術不會很快鋪開。這意味著，即使CPO成為主流技術，可插拔模塊仍將對CPO在技術或經(jīng)濟上不可行的幾個應用（如長途應用和邊緣數(shù)據(jù)中心）有很高的需求。專家預計，可插拔技術在10年內不會被淘汰。不過，可插拔和光學行業(yè)可能會整合，而CPO市場將形成多供應商商業(yè)模式。

回顧2020年，光互連和交換設備行業(yè)就CPO展開了廣泛討論，并宣布了幾項戰(zhàn)略合作，出現(xiàn)了第一批概念驗證。這是因為光互連論壇（OIF）、COBO和多源協(xié)議（MSA）小組等標準機構已建立了一些內部項目，四家超大型云運營商中的兩家——Meta和微軟——也積極支持CPO滲透到云網(wǎng)絡。

2022年交付了數(shù)千臺CPO引擎進行試點測試。今年，宏觀經(jīng)濟逆風對預算密集型項目產(chǎn)生了負面影響，尤其是CPO等技術。最近，大多數(shù)CPO主要支持者已暫停了對CPO項目的支持，博通幾乎成了最后一家CPO供應商。

CPO失去吸引力的原因包括，圍繞可插拔產(chǎn)品建立了完善的行業(yè)生態(tài)系統(tǒng)；用于可插拔尺寸的新光學技術，包括薄膜鈮酸鋰（TFLN）、鈦酸鋇（BTO）、碳和聚合物調制器，可實現(xiàn)所需的低功率，并在不改變現(xiàn)有網(wǎng)絡設計情況下引入市場。這說明，無論哪種技術，只要在性能、功率、成本和可制造性方面存在優(yōu)勢都能蓬勃發(fā)展。

在AI/ML系統(tǒng)中的CPO應用有所不同，未來數(shù)十億個光學互連、芯片和電路板的潛力促使大型代工廠為大規(guī)模生產(chǎn)做了準備。由于大多數(shù)光子學制造IP由非代工廠持有，Tower Semiconductor/Intel、GlobalFoundries、ASE Group、臺積電和三星等正在準備硅光子學工藝流程，以接受設計公司的任何光子集成電路（PIC）架構。

另外，小芯片（Chiplet）互連通用規(guī)范允許構建超過最大允許尺寸的大型SoC封裝，可在同一封裝內混合不同供應商的組件，并使用更小的片芯提高制造產(chǎn)量。每個小芯片都可以使用適合特定器件類型或計算性能/功耗要求的不同硅制造工藝。

應對數(shù)據(jù)爆炸式增長挑戰(zhàn)

現(xiàn)在看，封裝內光I/O技術與小芯片和硅光子學等創(chuàng)新封裝技術相結合，可提供高達1000倍的帶寬，而功率僅為電氣I/O替代方案的1/10。其帶寬擴展路線圖始于Ayar Labs開發(fā)的每個方向承載2Tbps帶寬的能力，每條線帶寬為200 Gbps/mm。Yole認為，到本世紀末，每條線帶寬將達1–10Tbps/mm。一些用戶對＞20Tbps和＞50Tbps線帶寬的可用性更為樂觀。

2020-2034年CPO技術上市時間

未來，加速AI/ML系統(tǒng)中的數(shù)據(jù)移動是HPC系統(tǒng)采用光學互連的主要驅動因素。在ML硬件中使用光I/O可解決數(shù)據(jù)爆炸式增長帶來的問題。在硅光子學進步的推動下，深度光子學集成已在特定數(shù)據(jù)中心應用中得到證明。因此，光I/O小芯片架構肯定會繼續(xù)演繹與數(shù)據(jù)通信密切相關的故事。