Ubuntu os中部署Deep seek（ubuntu single）

1. 环境准备

1.1 硬件要求

o 操作系统： Ubuntu 24.04 LTS

o GPU（可选）： NVIDIA GPU（建议至少 24GB VRAM，如 RTX 4090 / A100）

o CPU（仅用于 CPU 推理）： 至少 8 核，推荐 16 核以上

o 内存： 至少 32GB（建议 64GB 以上）

o 硬盘空间： 至少 60GB（用于模型存储）

2. 安装必要的软件和驱动

2.1 更新系统

sudo apt update && sudo apt upgrade -y

2.2 安装 NVIDIA 驱动（如果使用 GPU）

检查显卡型号：

lspci | grep -i nvidia

安装 NVIDIA 官方驱动（例如 535 版本）：

sudo apt install -y nvidia-driver-535

reboot # 重启系统以加载新驱动

验证驱动安装：

nvidia-smi

如果输出类似以下内容，说明驱动安装成功：

+-----------------------------------------------------------------------------+

| NVIDIA-SMI 535.113.01 Driver Version: 535.113.01 CUDA Version: 12.2 |

|-------------------------------+----------------------+----------------------+

2.3 安装 CUDA 和 cuDNN（GPU 用户）

安装 CUDA

sudo apt install -y cuda

安装 cuDNN

sudo apt install -y libcudnn8

验证 CUDA：

nvcc --version

3. 创建 Python 环境

3.1 安装 Miniconda（推荐）

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

bash Miniconda3-latest-Linux-x86_64.sh

安装完成后，关闭终端重新打开，或手动运行：

source ~/.bashrc

3.2 创建 Python 环境

conda create -n deepseek python=3.10 -y

conda activate deepseek

4. 安装 PyTorch 和 DeepSeek 依赖

4.1 安装 PyTorch

GPU 版本

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

CPU 版本

pip install torch torchvision torchaudio

测试 PyTorch 是否安装成功：

python -c "import torch; print(torch.cuda.is_available())"

如果输出 True，说明 PyTorch 可以使用 GPU。

4.2 安装 transformers、accelerate 和 vllm

pip install transformers accelerate vllm

5. 下载 DeepSeek 代码和模型

5.1 下载 DeepSeek 代码

git clone https://github.com/DeepSeek-AI/DeepSeek-LLM.git

cd DeepSeek-LLM

5.2 下载 DeepSeek 7B 模型

官方 Hugging Face 地址：
https://huggingface.co/DeepSeek-AI/deepseek-llm-7b

手动下载

mkdir -p models/deepseek-llm-7b

cd models/deepseek-llm-7b

wget https://huggingface.co/DeepSeek-AI/deepseek-llm-7b/resolve/main/config.json

wget https://huggingface.co/DeepSeek-AI/deepseek-llm-7b/resolve/main/model.safetensors

wget https://huggingface.co/DeepSeek-AI/deepseek-llm-7b/resolve/main/tokenizer.model

（或使用 git-lfs 下载完整模型）

git lfs install

git clone https://huggingface.co/DeepSeek-AI/deepseek-llm-7b models/deepseek-llm-7b

6. 运行 DeepSeek

6.1 运行 DeepSeek 推理

创建 run.py 文件：

from transformers import AutoModelForCausalLM, AutoTokenizer

import torch

model_name = "models/deepseek-llm-7b" # 本地模型路径

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")

inputs = tokenizer("你好，DeepSeek！", return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=100)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

运行：

python run.py

7. 运行 Web 界面

可以使用 FastAPI + Gradio 构建 Web 界面。

7.1 安装依赖

pip install fastapi gradio uvicorn

7.2 创建 web_app.py

from fastapi import FastAPI

import gradio as gr

from transformers import AutoModelForCausalLM, AutoTokenizer

import torch

app = FastAPI()

# 加载模型

model_name = "models/deepseek-llm-7b"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16, device_map="auto")

def generate_response(prompt):

inputs = tokenizer(prompt, return_tensors="pt").to("cuda")

outputs = model.generate(**inputs, max_new_tokens=100)

return tokenizer.decode(outputs[0], skip_special_tokens=True)

# Gradio 界面

def chatbot(prompt):

return generate_response(prompt)

iface = gr.Interface(fn=chatbot, inputs="text", outputs="text")

@app.get("/")

def read_root():

return {"message": "DeepSeek Web Server is Running"}

# 启动 Gradio

@app.get("/webui")

def launch_gradio():

iface.launch(share=True)

7.3 运行 Web 界面

uvicorn web_app:app --host 0.0.0.0 --port 8000

在浏览器中打开：

http://localhost:8000/webui

8. 总结

步骤 命令

更新系统 sudo apt update && sudo apt upgrade -y

安装 GPU 驱动 sudo apt install -y nvidia-driver-535

安装 CUDA 和 cuDNN sudo apt install -y cuda libcudnn8

创建 Python 环境 conda create -n deepseek python=3.10 -y && conda activate deepseek

安装 PyTorch pip install torch torchvision torchaudio --index-url
https://download.pytorch.org/whl/cu118

安装 transformers pip install transformers accelerate vllm

下载模型 git clone
https://huggingface.co/DeepSeek-AI/deepseek-llm-7b models/deepseek-llm-7b

运行推理 python run.py

运行 Web 界面 uvicorn web_app:app --host 0.0.0.0 --port 8000

这样，你就可以在 Ubuntu 24.04 上部署 DeepSeek-LLM 了！