快速对接：利用 OpenAI 兼容接口集成业务系统

当我们在 AMD Instinct GPU 上基于 ROCm 7.x 成功部署好 vLLM 推理服务后，最激动人心的时刻莫过于将其接入实际业务。很多开发者误以为调用自研或第三方部署的大模型需要编写复杂的专用 SDK，其实 vLLM 的核心优势之一就是原生兼容 OpenAI API 格式。这意味着你现有的基于 OpenAI 构建的应用代码，几乎无需修改即可无缝切换到本地或私有云部署的模型上。本文将聚焦于应用层对接，展示如何构造标准的 HTTP 请求、处理流式响应以及在局域网环境中安全地暴露服务，帮助后端工程师快速实现智能客服、代码辅助等功能。

构造标准的 HTTP 请求

vLLM 启动后，默认会监听指定的端口（如 8000），并提供与 OpenAI 完全一致的 RESTful 接口。对于聊天类模型，核心端点是 /v1/chat/completions。构造请求时，关键在于 Payload 的结构设计。你需要明确指定 model 字段（通常填入启动时加载的模型路径或名称），以及包含对话历史的 messages 列表。

以下是一个使用 Python requests 库发起同步请求的最小化示例。这段代码展示了如何封装系统提示词和用户输入，并解析返回的 JSON 数据：

import requests
import json

url = "http://localhost:8000/v1/chat/completions"
headers = {"Content-Type": "application/json"}

payload = {
    "model": "meta-llama/Llama-3-8B-Instruct",  # 需与启动参数一致
    "messages": [
        {"role": "system", "content": "你是一位精通 Python 的资深开发工程师。"},
        {"role": "user", "content": "如何用列表推导式生成一个包含 1 到 10 平方数的列表？"}
    ],
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.9
}

try:
    response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=30)
    response.raise_for_status()
    result = response.json()
    content = result['choices'][0]['message']['content']
    print(f"模型回复：{content}")
except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")

在实际生产环境中，单纯的一次性请求往往不够健壮。建议增加重试机制，特别是当并发量较大导致服务端偶尔超时时。可以通过设置 timeout 参数防止客户端无限等待，并结合指数退避策略在捕获 RequestException 时自动重发请求，确保业务调用的稳定性。

实现流式输出以提升体验

对于生成内容较长的场景（如文章撰写或代码生成），让用户等待所有 token 生成完毕再显示结果会带来极差的体验。vLLM 完美支持流式传输（Streaming），只需在请求 payload 中将 stream 参数设置为 true。此时，服务端会以 Server-Sent Events (SSE) 的形式逐步返回数据片段。

处理流式响应需要改变解析逻辑。客户端不再接收完整的 JSON 对象，而是一系列以 data: 开头的文本行。我们需要逐行读取响应流，跳过 [DONE] 标记，并实时提取每个片段中的内容增量：

import requests
import json

url = "http://localhost:8000/v1/chat/completions"
headers = {"Content-Type": "application/json"}

payload = {
    "model": "meta-llama/Llama-3-8B-Instruct",
    "messages": [{"role": "user", "content": "写一首关于秋天的短诗。"}],
    "stream": True  # 开启流式模式
}

response = requests.post(url, headers=headers, json=payload, stream=True)

for line in response.iter_lines():
    if line:
        decoded_line = line.decode('utf-8')
        if decoded_line.startswith("data: "):
            content_str = decoded_line[6:]
            if content_str.strip() == "[DONE]":
                break
            try:
                chunk = json.loads(content_str)
                delta = chunk['choices'][0]['delta'].get('content', '')
                if delta:
                    print(delta, end='', flush=True)
            except json.JSONDecodeError:
                continue
print() # 换行

这种“打字机”效果能显著降低用户感知的首字延迟（TTFT），让交互过程更加自然流畅。在前端开发中，这一逻辑通常封装在专门的组件中，用于实时更新 UI 界面。

局域网暴露与防火墙配置

在本地开发测试时，使用 localhost 或 127.0.0.1 即可。但若要供团队内部其他成员或业务系统调用，必须将服务暴露在局域网 IP 上。启动 vLLM 时，务必指定 --host 0.0.0.0，这样服务才会监听所有网络接口的流量，而不仅仅是回环地址。

然而，开放端口也带来了安全风险。在 Linux 服务器上，默认的防火墙规则（如 ufw 或 firewalld）通常会拦截外部入站连接。你需要手动放行推理服务的端口（例如 8000）：

# 如果使用 ufw
sudo ufw allow 8000/tcp

# 如果使用 firewalld
sudo firewall-cmd --permanent --add-port=8000/tcp
sudo firewall-cmd --reload

为了进一步保障安全，建议不要直接将推理端口暴露在公网。最佳实践是在网关层配置 Nginx 反向代理，通过域名访问，并在此层实施 HTTPS 加密、IP 白名单限制以及 API Key 鉴权。这样既能隐藏后端真实的拓扑结构，又能有效防止未授权的访问和潜在的 DDoS 攻击。对于纯内网环境，确保只有受信任的子网段能够访问该端口也是基本的运维规范。

通过上述步骤，你可以轻松地将部署在 AMD GPU 上的大模型能力转化为具体的业务价值。无论是构建内部的代码助手，还是对外提供智能问答服务，标准化的 API 接口都极大地降低了集成门槛，让技术落地变得更加高效可控。

200小时GPU算力已就位，快来领取：https://marketing.csdn.net/questions/Q2604140858304426315?utm_source=AIpaper