• 正文
    • 一、部署腳本
    • 二、部署安裝
    • 三、配置插件
    • 四、對(duì)話使用
    • 五、API 對(duì)接
  • 相關(guān)推薦
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

【教程】在Nas上部署Ollama,搭建DeepSeek、配置PageAssist AI、API調(diào)用

02/19 12:10
6540
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

作者:小傅哥,博客:https://bugstack.cn

大家好,我是技術(shù)UP主小傅哥。

OpenAI 剛興起的時(shí)候,一個(gè)非算法的外行Java,想在個(gè)人電腦上部署個(gè) GPT2 都費(fèi)老鼻子勁了。現(xiàn)在 DeepSeek 開源以后,拿這 Ollama 直接就能部署,兼職比程序員?安裝 Java JDK 都容易。Java 二狗,也能過上算法的日子。

自己部署的 DeepSeek 功能還挺多!

自己基于 Ollama 部署的一套 DeepSeek,可以提供獨(dú)屬于你自己一套的 AI,并且可以做圖片識(shí)別、聯(lián)網(wǎng)、知識(shí)庫。而且如果你是一個(gè)需要使用 DeepSeek 接口做開發(fā)的碼農(nóng),還可以直接使用自己提供的這套 API 做開發(fā)。

接下來,小傅哥就帶著你使用 Docker 完成 Ollama 的安裝和 DeepSeek 模型的部署。Docker 可以在任何環(huán)境執(zhí)行,小傅哥自己是放到 Nas 環(huán)境里部署。部署完成后,安裝谷歌瀏覽器插件 Page Assist 使用 Ollama 部署的 DeepSeek 模型。

跟著小傅哥一起學(xué)習(xí)這些技術(shù)在編程中的實(shí)戰(zhàn)使用,嘎嘎沖!文末提供了非常多的實(shí)戰(zhàn)項(xiàng)目!

一、部署腳本

小傅哥這里為你提供了執(zhí)行安裝的腳本,以及測(cè)試API的方法;

    代碼:https://github.com/fuzhengwei/xfg-dev-tech-ollamadev-ops,提供了 docker-compose.yml 部署 ollama 腳本。這個(gè)文件你可以放到任何安裝了 Docker 的環(huán)境里執(zhí)行。src 代碼,提供的是測(cè)試這套 Ollama 下的大模型。除了你本節(jié)部署的 DeepSeek,以后部署其他的也可以這樣使用。

二、部署安裝

1. 執(zhí)行腳本

#?docker?compose?-f?docker-compose.yml?up?-d
version:?'3.8'
services:
??ollama:
#????image:?ollama/ollama:0.5.10
????image:?registry.cn-hangzhou.aliyuncs.com/xfg-studio/ollama:0.5.10
????container_name:?ollama
????restart:?unless-stopped
????ports:
??????-?"11434:11434"
    • 原始鏡像

image: ollama/ollama:0.5.10

    • 代理鏡像

registry.cn-hangzhou.aliyuncs.com/xfg-studio/ollama:0.5.10

    • Nas 可以通過界面操作執(zhí)行啟動(dòng),如果你是 Linux 服務(wù)器,安裝了 Docker,可以使用命令執(zhí)行

docker compose -f docker-compose.yml up -d

2. 模型說明 - DeepSeek

模型 內(nèi)存 存儲(chǔ) 特點(diǎn)
deepseek-r1:1.5b 8G 12GB 輕量級(jí)模型,運(yùn)行速度快,性能有限。
deepseek-r1:7b 16G 80GB 平衡型模型,性能較好,硬件需求適中。
deepseek-r1:14b 32G 200GB 高性能模型,擅長(zhǎng)復(fù)雜任務(wù)(數(shù)學(xué)推理,代碼生成)
deepseek-r1:32b 64G 320GB 專業(yè)級(jí)模型,性能強(qiáng)大,適合高精度任務(wù)
deepseek-r1:70b 128G 500GB+ 頂級(jí)模型,性能最強(qiáng),適合大規(guī)模計(jì)算和高復(fù)雜任務(wù)執(zhí)行。
    這里小傅哥選擇的是 1.5b 模型,你可以按照自己的機(jī)器配置進(jìn)行選擇。

3. 模型安裝 - DeepSeek

你需要進(jìn)入到 Ollama 管理后臺(tái)執(zhí)行安裝模型腳本;

#?拉取模型
ollama?pull?deepseek-r1:1.5b

#?運(yùn)行模型
ollama?run?deepseek-r1:1.5b

#?聯(lián)網(wǎng)模型
ollama?pull?nomic-embed-text
    • 命令:

docker exec -it ollama /bin/bash

    也可以進(jìn)入控制臺(tái)首先,安裝完成后,可以執(zhí)行運(yùn)行之后在后臺(tái)進(jìn)行對(duì)話。對(duì)話完成需要關(guān)閉的話,運(yùn)行 Ctrl + D 關(guān)閉。之后,安裝聯(lián)網(wǎng)模型。這個(gè)過程要持續(xù)一會(huì)。另外不要一下就選很大的模型,怕你扛不住。

三、配置插件

官網(wǎng):https://github.com/n4ze3m/page-assist

1. 搜索安裝

為了更方便的使用 DeepSeek 模型,這里可以在谷歌瀏覽器安裝一個(gè) Page Assist 插件。

    點(diǎn)擊安裝 Page Assist 插件

2. 鏈接地址

3. 設(shè)置中文

4. 配置知識(shí)庫 - RAG

5. 添加知識(shí)庫 - PDF/MD

四、對(duì)話使用

1. ai對(duì)話

    你可以選擇模型、聯(lián)網(wǎng)、圖片識(shí)別和自己設(shè)定的知識(shí)庫。

2. 頁面對(duì)話

    你可以在插件上右鍵,之后就可以與你需要的另外的網(wǎng)頁進(jìn)行對(duì)話。理解網(wǎng)頁內(nèi)容做解答。

五、API 對(duì)接

1. curl 接口

curl?http://192.168.1.109:11434/api/generate?
??-H?"Content-Type:?application/json"?
??-d?'{
????????"model":?"deepseek-r1:1.5b",
????????"prompt":?"1+1",
????????"stream":?false
??????}'

    這是請(qǐng)求 Ollama DeepSeek 模型的 curl 操作。

2. 代碼請(qǐng)求

2.1 配置接口
@Configuration
public?class?OllamaConfig?{

????@Bean
????public?OllamaApi?ollamaApi()?{
????????Retrofit?retrofit?=?new?Retrofit.Builder()
????????????????.baseUrl("http://192.168.1.109:11434")
????????????????.addConverterFactory(JacksonConverterFactory.create()).build();

????????return?retrofit.create(OllamaApi.class);
????}

????public?interface?OllamaApi?{
????????@POST("/api/generate")
????????Call<OllamaResponse>?generate(@Body?OllamaRequest?request);
????}

????@Data
????@AllArgsConstructor
????@NoArgsConstructor
????public?static?class?OllamaRequest?{
????????private?String?model;
????????private?String?prompt;
????????private?boolean?stream;
????}
????
????//?...?省略部分代碼
}????
    這里我們使用 retrofit2 框架封裝對(duì)模型API的訪問。
2.2 訪問接口
@Slf4j
@RunWith(SpringRunner.class)
@SpringBootTest
public?class?OllamaTest?{

????@Resource
????private?OllamaConfig.OllamaApi?api;

????@Test
????public?void?test_chat()?throws?IOException?{
????????OllamaConfig.OllamaRequest?request?=?new?OllamaConfig.OllamaRequest(
????????????????"deepseek-r1:1.5b",
????????????????"1+1",
????????????????false
????????);

????????Call<OllamaConfig.OllamaResponse>?generate?=?api.generate(request);
????????Response<OllamaConfig.OllamaResponse>?execute?=?generate.execute();
????????OllamaConfig.OllamaResponse?response?=?execute.body();

????????log.info("測(cè)試結(jié)果:{}",?JSON.toJSONString(response.getResponse()));
????}

}

    • 如圖,運(yùn)行結(jié)果可以看到調(diào)用API沒問題啦。另外,SpringAI 也提供了訪問 ollama 的 Jar,也可以使用。后續(xù)會(huì)提供這塊的內(nèi)容。其他資源:https://618.gaga.plus - 有云服務(wù)器一鍵部署DeepSeek很爽。

 

小傅哥有那么多課程內(nèi)容,我加入后都可以學(xué)習(xí)嗎?可以!

    從你加入開始,所有過往的課程和積累內(nèi)容,你都可以學(xué)習(xí)。從21年創(chuàng)建星球社群到現(xiàn)在。加入有效期1年內(nèi),新創(chuàng)作項(xiàng)目,都可以學(xué)習(xí)。過期后,從過期日到過去的星球內(nèi)容,全部可以學(xué)習(xí)。續(xù)費(fèi),有效期內(nèi)5折續(xù)費(fèi),續(xù)費(fèi)只是相當(dāng)于續(xù)費(fèi)新項(xiàng)目和小傅哥的服務(wù)。

好啦,這就是小傅哥的技術(shù)列車,嘎嘎實(shí)惠!?? 幾乎沒有哪個(gè)大廠架構(gòu)師,用這么一個(gè)普惠的價(jià)格手把手的教大家學(xué)習(xí)了。

相關(guān)推薦

登錄即可解鎖
  • 海量技術(shù)文章
  • 設(shè)計(jì)資源下載
  • 產(chǎn)業(yè)鏈客戶資源
  • 寫文章/發(fā)需求
立即登錄

作者小傅哥多年從事一線互聯(lián)網(wǎng)Java開發(fā),從19年開始編寫工作和學(xué)習(xí)歷程的技術(shù)匯總,旨在為大家提供一個(gè)較清晰詳細(xì)的核心技能學(xué)習(xí)文檔。如果本文能為您提供幫助,請(qǐng)給予支持(關(guān)注、點(diǎn)贊、分享)!