全面發(fā)力端側(cè)AI，這個(gè)AIoT廠商給出完美解決方案

前幾天看到一個(gè)有趣的比喻——

有人將ChatGPT比作iPhone，它的出現(xiàn)，帶來(lái)了一種全新的概念（大模型/智能手機(jī)）。而DeepSeek，則被比作是國(guó)產(chǎn)安卓手機(jī)，它的作用，是讓這個(gè)概念真正走進(jìn)了千家萬(wàn)戶。

我個(gè)人認(rèn)為，這個(gè)比喻是非常貼切的。今年以來(lái)，DeepSeek的橫空出世，掀起了一股席卷全球的AI浪潮。它憑借混合專家（MoE）架構(gòu)、多頭潛在注意力（MLA）機(jī)制、低精度訓(xùn)練（FP8）策略等技術(shù)創(chuàng)新，不僅提升了模型的性能，還大幅降低了訓(xùn)練和推理成本，對(duì)AI的發(fā)展產(chǎn)生了深遠(yuǎn)影響。

簡(jiǎn)單來(lái)說(shuō)，就是DeepSeek讓更多的人都能用得起大模型了。隨著DeepSeek的火爆出圈，AI落地全面提速，端側(cè)AI更是進(jìn)入了爆炸式增長(zhǎng)的階段。

█?端側(cè)AI，為什么會(huì)爆發(fā)？

對(duì)AI稍有了解的讀者都知道，大模型的構(gòu)建和使用，包括了訓(xùn)練和推理兩個(gè)過(guò)程。訓(xùn)練，是通過(guò)“投喂”數(shù)據(jù)，找到更佳的模型參數(shù)，讓大模型變成可用的狀態(tài)。推理，則是將大模型投入應(yīng)用，針對(duì)新數(shù)據(jù)進(jìn)行預(yù)測(cè)。

大模型發(fā)展的早期階段，訓(xùn)練和推理都是在云端完成的。端側(cè)AI，則是指將大模型直接部署在終端設(shè)備（例如智能手機(jī)、售貨機(jī)、POS機(jī)、汽車等）上，在端側(cè)進(jìn)行推理，以此提供更好的實(shí)時(shí)響應(yīng)能力和數(shù)據(jù)安全性。

端側(cè)AI相比云端AI，主要區(qū)別在于算力相對(duì)較弱，以及對(duì)功耗和成本非常敏感。DeepSeek引領(lǐng)的大模型“平民化”熱潮，恰逢其時(shí)地解決了這個(gè)問(wèn)題，為端側(cè)AI的發(fā)展掃清了障礙。

DeepSeek通過(guò)蒸餾技術(shù)和算法優(yōu)化，顯著降低了大模型的存儲(chǔ)需求與計(jì)算量。通過(guò)技術(shù)開(kāi)源和硬件適配，端側(cè)設(shè)備的AI功能集成門(mén)檻明顯下降了。基于終端設(shè)備模組有限的算力，也能夠部署一定級(jí)別的大模型，滿足AI應(yīng)用場(chǎng)景需求。

我們以業(yè)界知名物聯(lián)網(wǎng)整體解決方案供應(yīng)商移遠(yuǎn)通信的方案為例。他們針對(duì)不同場(chǎng)景，推出了一系列高中低端AI算力模組。

其中，旗艦邊緣計(jì)算智能模組SG885G，搭載高通? QCS8550高性能平臺(tái)，具備高達(dá)48 TOPS的綜合算力。

SG885G此前已率先成功實(shí)現(xiàn)了DeepSeek-R1蒸餾小模型的穩(wěn)定運(yùn)行。實(shí)測(cè)數(shù)據(jù)顯示，其生成tokens的速度超過(guò)每秒40個(gè)tokens，且未來(lái)隨著性能的不斷優(yōu)化，速度還將進(jìn)一步提升，為智能終端設(shè)備帶來(lái)更強(qiáng)大的AI能力。

面向高端的SG560D模組，同樣來(lái)自高通平臺(tái)（QCM6490），綜合算力可以達(dá)到14 TOPS。

移遠(yuǎn)也有來(lái)自國(guó)產(chǎn)平臺(tái)的智能模組。如面向中端的SG530C，采用的就是紫光展銳的UIS7885平臺(tái)，算力達(dá)到8 TOPS。

面對(duì)低端場(chǎng)景，移遠(yuǎn)也能提供對(duì)應(yīng)的方案。例如SG368Z和SC362Z-AP，算力為1 TOPS，適合對(duì)成本和功耗有更高要求的場(chǎng)景。

模組的算力，是端側(cè)AI落地的一個(gè)前提條件。但更重要的是，需要充分了解用戶的需求，在方案設(shè)計(jì)驗(yàn)證、模型微調(diào)、模型部署等方面具備工程化的能力。

移遠(yuǎn)通信在這些方面已經(jīng)積累了豐富的經(jīng)驗(yàn)。

在方案方面，移遠(yuǎn)針對(duì)業(yè)界各大主流模型進(jìn)行了大量驗(yàn)證，摸清了模型的能力邊界和適用場(chǎng)景。在用戶場(chǎng)景中，如果直接采用現(xiàn)成模型構(gòu)建方案，會(huì)導(dǎo)致嚴(yán)重的精度和準(zhǔn)確性問(wèn)題。而移遠(yuǎn)會(huì)基于用戶場(chǎng)景，進(jìn)行模型微調(diào)，確保模型與場(chǎng)景完全匹配，用戶能獲得最佳體驗(yàn)。

模型部署更是移遠(yuǎn)的強(qiáng)項(xiàng)。他們深耕行業(yè)多年，對(duì)垂直行業(yè)有非常充分的了解，能夠針對(duì)不同行業(yè)用戶的場(chǎng)景需求，進(jìn)行從小模型到大模型的適配部署。

端側(cè)AI落地，不僅考驗(yàn)硬件算力，也考驗(yàn)軟件算法。而算法，是基于數(shù)據(jù)不斷磨合而成熟的。移遠(yuǎn)通信在算力、算法和數(shù)據(jù)方面，都具有自身獨(dú)特的優(yōu)勢(shì)，從而形成了強(qiáng)大的市場(chǎng)競(jìng)爭(zhēng)力，也成為行業(yè)用戶的合作首選。

接下來(lái)，我們不妨從目前端側(cè)AI最火爆的兩個(gè)應(yīng)用方向，詳細(xì)看看移遠(yuǎn)方案究竟是如何落地的。

█?機(jī)器人

先來(lái)看看現(xiàn)在最熱門(mén)的機(jī)器人（具身智能）賽道。

具身智能是機(jī)器人智能的理論基礎(chǔ)，而機(jī)器人是具身智能的物理載體。目前，業(yè)界普遍認(rèn)為，機(jī)器人（具身智能）是大模型技術(shù)在端側(cè)落地的關(guān)鍵場(chǎng)景，已經(jīng)進(jìn)入了高速發(fā)展的快車道。

機(jī)器人，尤其是服務(wù)類機(jī)器人，需要與用戶進(jìn)行直接交互，需要應(yīng)對(duì)復(fù)雜場(chǎng)景下的感知、決策和控制任務(wù)，對(duì)實(shí)時(shí)數(shù)據(jù)處理有極高的要求。

通過(guò)在端側(cè)集成AI大模型，服務(wù)機(jī)器人能夠在本地進(jìn)行數(shù)據(jù)處理，大幅降低數(shù)據(jù)延遲，提高響應(yīng)速度。用戶可以獲得更加流暢、智能、高效的機(jī)器人服務(wù)體驗(yàn)。

移遠(yuǎn)通信的端側(cè)大模型解決方案，已經(jīng)成功實(shí)現(xiàn)了在服務(wù)機(jī)器人領(lǐng)域的落地。

該方案基于SG885G模組，融合了前沿的LLM（大語(yǔ)言模型）、RAG（檢索增強(qiáng)生成）與Agent（智能體）等業(yè)界主流技術(shù)，可以實(shí)現(xiàn) “情景理解、知識(shí)融合、智能交互、自主決策、任務(wù)執(zhí)行”等多種功能。

在移遠(yuǎn)端側(cè)大模型解決方案的助力下，服務(wù)機(jī)器人可實(shí)現(xiàn)1s以內(nèi)的意圖識(shí)別，解碼速率超過(guò)15 tokens/s（人的正常語(yǔ)速約為10 tokens/s），語(yǔ)音交互更加自然。

目前，在醫(yī)療康養(yǎng)、智能客服、接待導(dǎo)覽、零售導(dǎo)購(gòu)等多個(gè)實(shí)際場(chǎng)景，移遠(yuǎn)大模型解決方案賦能的服務(wù)機(jī)器人，都展現(xiàn)出了強(qiáng)大的應(yīng)用價(jià)值，也吸引了行業(yè)內(nèi)外的廣泛關(guān)注。

不久前，移遠(yuǎn)通信聯(lián)合德壹發(fā)布了全球首款搭載端側(cè)大模型的AI具身理療機(jī)器人，就非常有代表性。

這款創(chuàng)新產(chǎn)品支持8自由度3D視覺(jué)導(dǎo)航，融合尖端AI技術(shù)、中醫(yī)理療智慧與具身智能，可以實(shí)現(xiàn)“無(wú)人化、個(gè)性化、精準(zhǔn)化”的理療體驗(yàn)。

這款機(jī)器人甚至可以支持無(wú)網(wǎng)模式。在沒(méi)有網(wǎng)絡(luò)連接、沒(méi)有理療師介入的情況下，它都可以快速且準(zhǔn)確地理解用戶的自然語(yǔ)言指令和意圖，高效完成通用聊天、醫(yī)療領(lǐng)域RAG問(wèn)答、指令控制等任務(wù)。

此外，德壹機(jī)器人還具備很強(qiáng)的觀察能力。它借助多模態(tài)感知技術(shù)（視覺(jué)+力控+紅外熱成像），實(shí)時(shí)掃描用戶身體，精準(zhǔn)識(shí)別人體經(jīng)絡(luò)與穴位。通過(guò)結(jié)合用戶健康數(shù)據(jù)與實(shí)時(shí)體征，德壹機(jī)器人能夠動(dòng)態(tài)生成個(gè)性化理療方案。

目前，在亞健康調(diào)理、慢性疼痛緩解、產(chǎn)后康復(fù)等多個(gè)場(chǎng)景，德壹機(jī)器人都已投入商用，為用戶提供服務(wù)。

█?AI智能無(wú)人零售

自動(dòng)售貨機(jī)是大家比較常見(jiàn)的一個(gè)物聯(lián)網(wǎng)應(yīng)用場(chǎng)景。

在多年的發(fā)展歷程中，自動(dòng)售貨行業(yè)經(jīng)歷了從機(jī)械式到RFID射頻技術(shù)、重力感應(yīng)、靜態(tài)視覺(jué)識(shí)別、動(dòng)態(tài)視覺(jué)識(shí)別等多種商品識(shí)別方式的演變。 從靜態(tài)視覺(jué)到動(dòng)態(tài)視覺(jué)，均以AI視覺(jué)識(shí)別能力為基礎(chǔ)，且依賴于物聯(lián)網(wǎng)技術(shù)的支撐。

在2025世界移動(dòng)通信大會(huì)（MWC）上，移遠(yuǎn)通信宣布推出全新AI智能無(wú)人零售解決方案，采用的就是前沿的“動(dòng)態(tài)視覺(jué)+邊緣計(jì)算”技術(shù)。

該方案采用高性能5G AI算力模組SG560D（同時(shí)也兼容其它多款算力模組），依托在自研算法上的深厚技術(shù)積累，對(duì)硬件推理性能進(jìn)行了深度優(yōu)化，可以直接對(duì)實(shí)時(shí)動(dòng)態(tài)視頻流進(jìn)行計(jì)算，實(shí)現(xiàn)精準(zhǔn)商品識(shí)別和秒級(jí)響應(yīng)速度，帶給消費(fèi)者“掃碼開(kāi)門(mén)、即拿即走”的無(wú)縫購(gòu)物體驗(yàn)。

在SKU（庫(kù)存單位）方面，該方案經(jīng)過(guò)海量數(shù)據(jù)的深度訓(xùn)練，具備更強(qiáng)的模型泛化能力，可精準(zhǔn)識(shí)別上千種商品。方案的模型能力還能持續(xù)在線升級(jí)，不斷拓展可識(shí)別商品的種類。

在準(zhǔn)確率方面，方案采用“單/雙攝像頭+智能算法識(shí)別”等多重機(jī)制，并結(jié)合重量等數(shù)據(jù)進(jìn)行交叉驗(yàn)證，可以實(shí)現(xiàn)高達(dá)99%的端到端識(shí)別準(zhǔn)確率。

在支撐客戶運(yùn)營(yíng)方面，方案可無(wú)縫對(duì)接客戶應(yīng)用程序，為其提供全棧式技術(shù)與服務(wù)支撐，實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)分析，并且能夠深度洞察消費(fèi)偏好。這可以助力客戶實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)的精細(xì)化運(yùn)營(yíng)，進(jìn)一步降本增效。

目前，移遠(yuǎn)AI智能無(wú)人零售解決方案已經(jīng)與興元科技“喵星人”智能售貨機(jī)等多家客戶產(chǎn)品完成系統(tǒng)集成，并進(jìn)入實(shí)地場(chǎng)景測(cè)試階段。

█?開(kāi)發(fā)板——端側(cè)AI產(chǎn)品開(kāi)發(fā)神器

除了豐富的AI模組及解決方案，在加速端側(cè)AI應(yīng)用落地的過(guò)程中，移遠(yuǎn)通信還打造了QuecPi Alpha智能生態(tài)開(kāi)發(fā)板，以高效、靈活等優(yōu)勢(shì)，推動(dòng)端側(cè)AI技術(shù)不斷突破。

在2025世界移動(dòng)通信大會(huì)（MWC）上，該開(kāi)發(fā)板正式面向全球市場(chǎng)發(fā)布。

所謂開(kāi)發(fā)板，就是一個(gè)開(kāi)發(fā)平臺(tái)。物聯(lián)網(wǎng)技術(shù)應(yīng)用于千行百業(yè)，每個(gè)行業(yè)都有不同的場(chǎng)景需求。因此，需要一個(gè)開(kāi)發(fā)板平臺(tái)，進(jìn)行行業(yè)場(chǎng)景下的物聯(lián)網(wǎng)終端開(kāi)發(fā)技術(shù)測(cè)試和驗(yàn)證。

尤其是端側(cè)AI落地，很多企業(yè)用戶都需要一個(gè)平臺(tái)，驗(yàn)證大模型的能力，以及性能、功耗和兼容性表現(xiàn)。

QuecPi Alpha智能生態(tài)開(kāi)發(fā)板基于高通躍龍? QCS6490處理器打造，配備8核CPU，8GB/4GB LPDDR4X內(nèi)存，AI算力高達(dá)12 TOPS。其支持Linux、Ubuntu等多種開(kāi)源操作系統(tǒng)，并采用高通Adreno? 642L/643 GPU，在處理圖像及視頻數(shù)據(jù)等AI計(jì)算任務(wù)時(shí)，展現(xiàn)出卓越的靈活性和高效性。

QuecPi Alpha可以說(shuō)是端側(cè)AI產(chǎn)品開(kāi)發(fā)的一個(gè)神器，廣泛覆蓋了AIoT行業(yè)的諸多應(yīng)用場(chǎng)景，如AI邊緣計(jì)算、工業(yè)機(jī)器人、服務(wù)/陪伴/教育/娛樂(lè)機(jī)器人、工控、多媒體終端、數(shù)字廣告牌、智能家居等。

以智慧交通和智能安全為例，QuecPi Alpha能夠在復(fù)雜場(chǎng)景下快速、精準(zhǔn)地識(shí)別并標(biāo)注車輛、車牌、行人等目標(biāo)物體。它在邊緣計(jì)算、低延遲處理方面的優(yōu)異表現(xiàn)，為交通管理等領(lǐng)域的實(shí)時(shí)決策提供了有力支持。

█?結(jié)語(yǔ)

根據(jù)最新數(shù)據(jù)，全球端側(cè)AI設(shè)備市場(chǎng)規(guī)模已超過(guò)600億美元，年復(fù)合增長(zhǎng)率（CAGR）達(dá)到22%。預(yù)計(jì)到2030年，更將超過(guò)1500億美元。

這是一個(gè)巨大的市場(chǎng)機(jī)遇。想要把握這個(gè)機(jī)遇，就必須在端側(cè)算力、模型適配、模型部署等方面進(jìn)行深入研究和持續(xù)投入。選擇一個(gè)好的物聯(lián)網(wǎng)解決方案，顯然能夠以最短的周期推出滿足用戶體驗(yàn)的產(chǎn)品，從而在激烈的市場(chǎng)競(jìng)爭(zhēng)中脫穎而出。

我們期待這個(gè)市場(chǎng)的進(jìn)一步爆發(fā)，加速推動(dòng)AI的落地和普及，將人類早日帶入真正的數(shù)智時(shí)代。