由中国深度求索打造的DeepSeek在全球掀起"中国智造"风暴!这款革命性应用不仅强势包揽中美双料App Store免费榜冠军,更以单日下载量超ChatGPT四倍的惊人战绩横扫全球市场。仅凭500万美元研发投入,便实现对OpenAI、谷歌等硅谷巨头数十亿美元级AI项目的全面超越,用硬核技术实力诠释"中国式创新"效率!这场以小博大的科技逆袭,不仅刷新全球AI产业格局,更让世界见证东方智慧的破局力量。

本篇文章将教大家如何在本地部署DeepSeek,让大家可以随时随地使用DeepSeek。

liunx 部署

方案一:使用 Ollama 快速部署(推荐个人/开发使用)

Ollama 是目前最简单的本地模型运行框架,它可以自动处理依赖和 GPU 加速。

1. 安装 Ollama

打开终端,执行以下脚本:

curl -fsSL https://ollama.com/install.sh | sh

2. 启动服务并运行 DeepSeek

根据你的显存大小选择模型版本(以 DeepSeek-R1 为例):

  • 1.5b版本(集成显卡/核心显卡可用):ollama run deepseek-r1:1.5b
  • 7b版本(至少 8G 显存):ollama run deepseek-r1:7b
  • 14b版本(至少 12G 显存):ollama run deepseek-r1:14b

输入命令后,系统会自动下载模型并进入对话模式。

3. API 调用

Ollama 默认在 11434 端口开启 API 服务,你可以通过 Python 调用:

import requests

json_data = {
    "model": "deepseek-r1:7b",
    "prompt": "为什么天空是蓝色的?",
    "stream": False
}
response = requests.post("http://localhost:11434/api/generate", json=json_data)
print(response.json()['response'])

方案二:使用 vLLM 部署(推荐高性能/产品化部署)

如果你需要极高的吞吐量,或者需要在生产环境中使用,vLLM 是更好的选择。

1. 准备环境

建议使用 Conda 创建虚拟环境并安装 CUDA 支持的 PyTorch:

conda create -n deepseek python=3.10 -y
conda activate deepseek
pip install vllm

2. 下载模型

从 Hugging Face 或 ModelScope 下载 DeepSeek-R1 的权重文件。

3. 启动 OpenAI 兼容服务器

python -m vllm.entrypoints.openai.api_server \
    --model /path/to/deepseek-r1-weights \
    --tensor-parallel-size 1 \ # 如果有多个GPU,修改此数值
    --gpu-memory-utilization 0.9 \
    --port 8000

方案三:使用 Docker 部署(环境隔离)

如果你喜欢使用容器化方案,可以使用以下命令启动带有 Web 界面(Open WebUI)的 DeepSeek:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

注:此方案需要你先按照方案一安装好 Ollama。


常见问题排查 (Troubleshooting)

  1. 显存不足 (OOM):如果启动失败,请尝试使用更小参数的版本(如 1.5b 或 7b),或开启量化版本(GGUF/AWQ)。
  2. 驱动问题:请确保已安装 NVIDIA 驱动。执行 nvidia-smi 检查 GPU 是否正常识别。
  3. 权限问题:如果 curl 安装失败,请在命令前加上 sudo

window 部署

1.Ollama 下载安装

Ollama 是一个轻量级的本地AI模型运行框架,可在本地运行各种开源大语言模型(如Llama、Mistral等)

浏览器输入网址:https://ollama.com/

选择一个系统进行下载

安装之后,Ollama已经运行了,它是CMD命令工具,我们可以在命令行输入ollama来验证,是否安装成功

如果出现下图的内容的话,就表示下载成功

安装DeepSeek-r1模型 还是在刚才的Ollama网站,选择Model模块,选择deepseek-r1这个模型

搜索出来有很多个版本,区别就是参数不一样。

1.5b,7b,8b,14b,32b,70b,671b

每个版本对应所需的内存大小都不一样。

如果你电脑运行内存为8G那可以下载1.5b,7b,8b的蒸馏后的模型

如果你电脑运行内存为16G那可以下载14b的蒸馏后的模型

我这里选择14b的模型,参数越大,使用DeepSeek的效果越好

使用ollama run deepseek-r1:14b 进行下载

这里我第一次失败了,所以我试了两次,才成功。

我们也可以在命令行中输入,ollama list 查看是否成功下载了模型,下图的内容表明下载成功

输入ollama run deepseek-r1:14b运行模型

启动成功后,就可以输入我们想问的问题,模型首先会进行深度思考(也就是think标签包含的地方),思考结束后会反馈我们问题的结果。

注意:由于ollama默认是将模型下载到C盘的,如果你的C盘空间也和我的一样拉跨

那我们就需要更改一下模型的下载位置了

编辑环境变量

新建一个系统环境变量

变量名请一定写OLLAMA_MODELS

然后变量值,就写你模型下载所下载到的路径

然后还需要去用户环境变量里,新增两个环境变量

OLLAMA_HOST:0.0.0.0

OLLAMA_ORIGINS:*

都设置好后,就保存,然后重启ollama

2.chatBox下载安装

Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载

我们通过ollama下载模型后,可以在命令行使用deepseek了,但是命令行的形式还是有些不美观,所以我们可以借助chatBox,它拥有美观的UI,只要接入ollama的Api就可以使用了。

也是可以多平台下载,我这里选择windows下载

安装启动后,点击设置

模型提供方选择ollama API

然后现在可以选择模型了

能成功使用

注意:选择蒸馏模型的大小,需要结合自己的电脑实际情况来选择,这会关系到,模型回答的速度以及效果问题。