本地部署Deepseek-RAG知識庫

發(fā)布日期： 2026-01-14 閱讀量： 作者： 巴頓軟件

隨著人工智能和大數(shù)據(jù)的快速發(fā)展，企業(yè)對知識管理的需求也日益增加。為了更好地利用內部信息資源，實現(xiàn)智能化的知識查詢，企業(yè)開始尋求能夠高效管理和檢索數(shù)據(jù)的知識庫解決方案。在這篇文章中，我們將探討如何通過Ollama部署DeepSeek，并將其接入本地RAG平臺，來構建一個強大的企業(yè)知識庫。

一、什么是RAG平臺？

RAG平臺（Retrieval-Augmented Generation）是將檢索與生成相結合的一種技術，它通過檢索相關文檔并生成有用的信息，為用戶提供更加精準的答案。以下是一些廣泛使用的RAG平臺：

Haystack by deepset
官網(wǎng)：https://deepset.ai/haystack
介紹：Haystack 是一個開源的 NLP 框架，能夠處理信息檢索與文本生成任務，廣泛應用于構建問答系統(tǒng)和知識庫。
GPT Index
官網(wǎng)：https://gpt-index.readthedocs.io/
介紹：GPT Index 是一個通過高效的檢索增強生成 (RAG) 系統(tǒng)來處理文檔和問答的工具，適合企業(yè)級應用。
LangChain
官網(wǎng)：https://www.langchain.com/
介紹：LangChain 提供了一個豐富的框架，用于構建基于大型語言模型（LLMs）的應用程序，支持與外部系統(tǒng)集成，如數(shù)據(jù)庫和搜索引擎。
AnythingLLM
官網(wǎng)：https://anythingllm.com/
介紹：AnythingLLM 是一個開源的深度學習框架，旨在簡化大規(guī)模語言模型的部署與應用，特別是在與本地RAG平臺集成構建智能知識庫和問答系統(tǒng)方面。

二、使用AnythingLLM演示DeepSeek與RAG平臺結合

在此部分，我們將展示在Mac平臺如何使用AnythingLLM實現(xiàn)DeepSeek與本地RAG平臺的接入。

步驟 1：安裝并配置Ollama

首先進入ollama官網(wǎng)：https://ollama.com/，下載并安裝ollama

本地部署Deepseek-RAG知識庫(圖1) 本地部署Deepseek-RAG知識庫(圖2)

安裝完成后打開ollama，進入終端輸入下面命令

ollama -v

輸出如下ollama版本即為安裝成功

ollama version is 0.5.7

步驟 2：下載deepseek-R1 14B版本

在終端中輸入安裝命令，等待deepseek安裝完成

ollama run deepseek-r1:14b

安裝完成后展示如下圖，輸入文字就能對話

本地部署Deepseek-RAG知識庫(圖3) 本地部署Deepseek-RAG知識庫(圖4)

步驟 3：安裝AnythingLLM平臺

進入官網(wǎng)下載mac版本的，這里我是m2芯片，對應apple sillicon，完成安裝。

本地部署Deepseek-RAG知識庫(圖5)

步驟 4：配置AnythingLLM

打開AnythingLLM，點擊創(chuàng)建工作區(qū)，輸入工作區(qū)名稱

本地部署Deepseek-RAG知識庫(圖6) 本地部署Deepseek-RAG知識庫(圖7)

進入工作區(qū)設置，點擊聊天設置，修改工作區(qū)LLM提供者為ollama，再選擇14b版本，修改聊天提示語，定義agent的工作內容并且指定用中文回復。

本地部署Deepseek-RAG知識庫(圖8) 本地部署Deepseek-RAG知識庫(圖9)

完成AnythingLLM配置，可以進行對話了

本地部署Deepseek-RAG知識庫(圖10)

步驟 4：數(shù)據(jù)投喂

通過調用RAG平臺，DeepSeek將能夠根據(jù)內部數(shù)據(jù)庫、文檔、鏈接等提供實時的知識查詢和生成能力。我使用寧暢官網(wǎng)的產品頁面作為投喂資料進行演示。

本地部署Deepseek-RAG知識庫(圖11) 本地部署Deepseek-RAG知識庫(圖12) 本地部署Deepseek-RAG知識庫(圖13) 本地部署Deepseek-RAG知識庫(圖14)

如圖所示完成數(shù)據(jù)添加，回答問答界面，要求deepseek介紹下寧暢的產品，deepseek會從投喂的網(wǎng)站進行搜索，總結出產品的內容；

本地部署Deepseek-RAG知識庫(圖15) 本地部署Deepseek-RAG知識庫(圖16)

投喂的內容可以是doc、pdf、csv、鏈接等數(shù)據(jù)，也可以是自己搭建的數(shù)據(jù)庫，可以自己下載體驗。

總結：至此完成了deepseek本地化部署RAG平臺的流程。

DeepSeek的硬件要求

DeepSeek的硬件要求依賴于不同的參數(shù)配置，特別是顯卡顯存的大小。一般來說，對于不同規(guī)模的模型和查詢負載，硬件需求也會有所不同。如下圖是ollama官網(wǎng)中deepseek的大小，你對應的顯存必須大于此模型大小，否則就會使用cpu+內存的方式進行推理，速度將會大幅降低甚至卡死。

本地部署Deepseek-RAG知識庫(圖17)

下一篇: AI時代必知的8款頂級軟件開發(fā)工具

本地部署Deepseek-RAG知識庫

隨便看看