OpenAI GPT-OSS Docker本地部署指南

一、环境准备

1. 系统要求：

   • Linux/Windows/macOS（推荐Linux）
   • Docker Engine ≥ 20.10
   • NVIDIA驱动 ≥ 470（GPU加速需CUDA 11.7+）
   • 硬件建议：
     • CPU：8核+
     • RAM：32GB+
     • GPU：RTX 3090/A100（模型推理加速）

2. 安装依赖：

# 安装Docker
curl -fsSL https://get.docker.com | sh
sudo systemctl enable --now docker

# 安装NVIDIA容器工具（GPU支持）
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
&& curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update && sudo apt-get install -y nvidia-docker2

二、部署流程

1. 获取模型资源：

git clone https://github.com/openai/gpt-oss.git
cd gpt-oss

1. 构建Docker镜像：

# Dockerfile
FROM nvcr.io/nvidia/pytorch:22.07-py3

WORKDIR /app
COPY . .

RUN pip install -r requirements.txt \
    && python -m spacy download en_core_web_sm

# 设置模型缓存路径
ENV TRANSFORMERS_CACHE=/app/model_cache

1. 构建命令：

docker build -t gpt-oss:latest .

1. 启动容器：

docker run -itd --gpus all \
  -p 7860:7860 \  # Web UI端口
  -p 5000:5000 \  # API端口
  -v $(pwd)/data:/app/data \  # 持久化存储
  --name gpt-oss-container \
  gpt-oss:latest \
  python app.py --device cuda

三、调试方案

1. 日志监控：

docker logs -f gpt-oss-container

1. 性能优化参数：

# 启动时添加参数
python app.py \
  --max_batch_size 8 \        # 批处理大小
  --precision fp16 \          # 混合精度
  --max_length 512            # 生成文本长度

1. 常见问题排查： | 问题现象 | 解决方案 | |---------|---------| | GPU内存不足 | 减小max_batch_size或使用--precision int8 | | 响应延迟高 | 启用量化：--quantize bitsandbytes | | 端口冲突 | 修改映射端口：-p 新端口:原端口 |

四、验证部署

1. API测试：

curl -X POST http://localhost:5000/generate \
  -H "Content-Type: application/json" \
  -d '{"prompt": "人工智能的未来", "temperature": 0.7}'

1. Web访问： 浏览器打开：http://服务器IP:7860

五、持久化配置

# docker-compose.yml
version: '3.8'
services:
  gpt-oss:
    image: gpt-oss:latest
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
    volumes:
      - ./model_cache:/app/model_cache
    ports:
      - "7860:7860"
      - "5000:5000"
    command: ["python", "app.py", "--device", "cuda"]

启动命令：docker-compose up -d

重要提示：首次运行会自动下载模型权重（约10-40GB），请确保网络畅通。建议配置国内镜像源加速下载：

# 在app.py中添加
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'