芯耀
542
SL1680 SoC本地運(yùn)行DeepSeek R1 1.5B大模型
自DeepSeek大模型發(fā)布以來(lái)，深蕾半導(dǎo)體SoC團(tuán)隊(duì)針對(duì)在端側(cè)運(yùn)行DeepSeek大模型不斷進(jìn)行研究，探索將DeepSeek大模型與SoC系列產(chǎn)品相結(jié)合的模式。目前已經(jīng)實(shí)現(xiàn)利用深蕾半導(dǎo)體的ASTRA SL1680 SoC本地運(yùn)行DeepSeek R1 Distill Qwen2.5 1.5B大模型。
DeepSeek R1 Distill Qwen2.5 1.5B是DeepSeek R1發(fā)布中最小的模型 - 它可以在ASTRA SL1680上舒適地運(yùn)行。
一、SL1680本地運(yùn)行Deepseek-R1-1.5B大模型展示
執(zhí)行過(guò)程
要在ASTRA開(kāi)發(fā)板上運(yùn)行Qwen，我們將使用llama-cpp-python包，它為Georgi Gerganov的llamacpp提供了便捷的Python綁定。
除了在SL1680本地運(yùn)行Deepseek-R1-1.5B大模型，還實(shí)現(xiàn)了運(yùn)行Llama 3.2 1B大模型。
運(yùn)行環(huán)境
系統(tǒng)：Linux(yocto)
硬件：SL1680 RDK開(kāi)發(fā)板
產(chǎn)品化路徑
對(duì)于SL1680產(chǎn)品如何與大模型結(jié)合的問(wèn)題，建議采用端側(cè)大模型與云端大模型相結(jié)合的工程化方式處理，本地能處理的用戶(hù)任務(wù)使用端側(cè)大模型快速解決和輸出，而較復(fù)雜的邏輯以及聯(lián)網(wǎng)功能則通過(guò)請(qǐng)求云端大模型API的方式實(shí)現(xiàn)。
如視頻所展示的，將Deepseek-R1-1.5B大模型部署到SoC本地，能夠?qū)崿F(xiàn)知識(shí)問(wèn)答、FuntionCall等AI能力。通過(guò)將云端的大模型與端側(cè)的語(yǔ)音識(shí)別、機(jī)器視覺(jué)功能、端側(cè)小參數(shù)大模型相結(jié)合，從而讓AI賦能我們的產(chǎn)品，提升產(chǎn)品的智能化程度。
二、本地小參數(shù)大模型與端云大模型結(jié)合的應(yīng)用場(chǎng)景
1，多媒體終端：本地小參數(shù)大模型可在端側(cè)如智能大屏，快速處理一些常見(jiàn)的簡(jiǎn)單任務(wù)，如語(yǔ)音助手對(duì)常見(jiàn)指令的快速響應(yīng)、文本的簡(jiǎn)單摘要生成、數(shù)據(jù)加工整理、設(shè)備操控、產(chǎn)品說(shuō)明、產(chǎn)品售后問(wèn)題自助解決等。當(dāng)遇到復(fù)雜任務(wù)，如深度文本分析、多模態(tài)內(nèi)容生成時(shí)，可將任務(wù)發(fā)送到云側(cè)大模型進(jìn)行處理，利用云側(cè)大模型強(qiáng)大的計(jì)算能力和豐富的知識(shí)儲(chǔ)備來(lái)完成。
2，智能辦公設(shè)備（MINI PC）：本地小參數(shù)大模型可以實(shí)時(shí)處理用戶(hù)的語(yǔ)音交互、文字輸入信息處理、智能控制等任務(wù)，作為用戶(hù)AI助手。而對(duì)于一些復(fù)雜的邏輯理解、內(nèi)容生成設(shè)計(jì)和決策任務(wù)等，則借助云側(cè)大模型的強(qiáng)大算力和更全面的數(shù)據(jù)分析能力來(lái)完成。
3，零售電商：在商品展示平臺(tái)的搜索推薦場(chǎng)景中，本地小參數(shù)大模型可以根據(jù)用戶(hù)在本地設(shè)備上的瀏覽歷史、購(gòu)買(mǎi)行為、環(huán)境感知等數(shù)據(jù)，快速生成初步的推薦結(jié)果。當(dāng)用戶(hù)有更復(fù)雜的搜索需求，如對(duì)比不同商品的詳細(xì)參數(shù)、詢(xún)問(wèn)商品的使用場(chǎng)景等問(wèn)題時(shí)，云側(cè)大模型可以利用其龐大的商品知識(shí)庫(kù)和強(qiáng)大的語(yǔ)言理解能力，給出更準(zhǔn)確、詳細(xì)的回答和推薦。
三、ASTRA SL1680 SoC介紹?
ASTRA SL1680是一款專(zhuān)為智能應(yīng)用設(shè)計(jì)的高性能系統(tǒng)級(jí)芯片（SoC），它擁有
Cortex A73是ARM公司設(shè)計(jì)的一款高性能CPU核心，適用于需要高性能計(jì)算的應(yīng)用場(chǎng)景，能夠提供強(qiáng)大的處理能力和多任務(wù)處理能力，為Deepseek-R1-1.5B大模型的運(yùn)行提供堅(jiān)實(shí)保障。
2，高達(dá)7.9 Top NPU算力：
NPU（Neural Processing Unit，神經(jīng)網(wǎng)絡(luò)處理單元）是專(zhuān)門(mén)用于加速神經(jīng)網(wǎng)絡(luò)計(jì)算的硬件單元。7.9 Top的算力使SL1680在神經(jīng)網(wǎng)絡(luò)計(jì)算方面有著極高的性能，為端云結(jié)合的應(yīng)用模式創(chuàng)造了有利條件。
3，64-bit高速內(nèi)存：
64位內(nèi)存架構(gòu)支持更大的內(nèi)存尋址空間，使得SL1680能夠同時(shí)處理更多的數(shù)據(jù)和運(yùn)行更復(fù)雜的應(yīng)用程序。高速內(nèi)存則保證了數(shù)據(jù)訪(fǎng)問(wèn)的迅速性，提升了整體性能。
