千问3.5-9B Python入门实战：从零搭建你的第一个AI应用

1. 为什么选择千问3.5-9B入门AI开发

如果你刚接触Python和AI开发，可能会觉得搭建AI应用是个遥不可及的目标。但实际上，借助星图GPU平台和千问3.5-9B这样的开源大模型，入门AI开发比想象中简单得多。

千问3.5-9B是一个9B参数规模的中文大语言模型，相比动辄百亿参数的大模型，它体积更小但能力不俗，特别适合新手练手。它能完成文本生成、问答对话、代码补全等多种任务，而且部署门槛低，对硬件要求相对友好。

最棒的是，星图平台已经提供了预置的千问3.5-9B镜像，省去了复杂的模型下载和环境配置过程。接下来，我会带你一步步完成从部署到调用的全过程，即使你是Python新手也能轻松跟上。

2. 环境准备与快速部署

2.1 注册星图GPU平台账号

首先访问星图GPU平台官网完成注册。新用户通常有免费额度可以使用，这对学习来说完全够用。注册后进入控制台，找到"镜像市场"或"应用中心"。

2.2 一键部署千问3.5-9B镜像

在镜像市场中搜索"千问3.5-9B"，你会看到官方提供的预置镜像。点击"立即部署"，系统会自动为你分配GPU资源并完成环境配置。整个过程通常需要3-5分钟。

部署完成后，你会获得一个可访问的API端点地址，形如：http://your-instance-ip:port。记下这个地址，后续调用API时会用到。

2.3 获取API访问密钥

在实例管理页面，找到"API密钥"或"访问令牌"选项，生成一个新的API密钥。这个密钥相当于你的身份凭证，每次调用API时都需要带上它。

建议将API密钥保存在安全的地方，比如环境变量中：

export QIANWEN_API_KEY="your-api-key-here"

3. Python基础环境配置

3.1 安装Python和必要库

确保你的本地开发环境安装了Python 3.8或更高版本。然后安装必要的Python库：

pip install requests python-dotenv

• requests：用于发送HTTP请求调用API
• python-dotenv：方便管理环境变量

3.2 创建项目目录结构

建议按以下结构组织你的项目：

/my_ai_app
  ├── .env          # 存储API密钥等敏感信息
  ├── config.py     # 配置文件
  ├── main.py       # 主程序
  └── utils.py      # 工具函数

4. 调用千问3.5-9B API实战

4.1 基础API调用

让我们从最简单的文本生成开始。创建一个main.py文件，添加以下代码：

import os
import requests
from dotenv import load_dotenv

# 加载环境变量
load_dotenv()

# 配置API参数
API_URL = "http://your-instance-ip:port/v1/completions"
API_KEY = os.getenv("QIANWEN_API_KEY")

headers = {
    "Authorization": f"Bearer {API_KEY}",
    "Content-Type": "application/json"
}

def generate_text(prompt):
    data = {
        "prompt": prompt,
        "max_tokens": 200,
        "temperature": 0.7
    }
    
    response = requests.post(API_URL, headers=headers, json=data)
    return response.json()

# 测试调用
if __name__ == "__main__":
    result = generate_text("用Python写一个计算器程序")
    print(result["choices"][0]["text"])

这段代码做了以下几件事：

1. 从.env文件加载API密钥
2. 设置请求头，包含认证信息
3. 定义生成文本的函数
4. 发送一个简单的Python编程问题请求

4.2 解析API响应

API返回的JSON数据结构通常包含以下关键字段：

{
    "choices": [
        {
            "text": "生成的文本内容...",
            "index": 0,
            "finish_reason": "length"
        }
    ],
    "usage": {
        "prompt_tokens": 10,
        "completion_tokens": 50,
        "total_tokens": 60
    }
}

我们可以改进之前的函数，添加更好的错误处理和结果解析：

def generate_text(prompt):
    try:
        data = {
            "prompt": prompt,
            "max_tokens": 200,
            "temperature": 0.7
        }
        
        response = requests.post(API_URL, headers=headers, json=data)
        response.raise_for_status()  # 检查HTTP错误
        
        result = response.json()
        
        if "choices" not in result or len(result["choices"]) == 0:
            raise ValueError("无效的API响应格式")
            
        return {
            "text": result["choices"][0]["text"],
            "usage": result.get("usage", {})
        }
        
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return None
    except ValueError as e:
        print(f"响应解析错误: {e}")
        return None

4.3 实现问答对话功能

千问3.5-9B也支持对话式交互。我们需要使用不同的API端点：

def chat_with_model(messages):
    CHAT_API_URL = "http://your-instance-ip:port/v1/chat/completions"
    
    data = {
        "messages": messages,
        "max_tokens": 200,
        "temperature": 0.7
    }
    
    response = requests.post(CHAT_API_URL, headers=headers, json=data)
    result = response.json()
    
    return result["choices"][0]["message"]["content"]

# 使用示例
conversation = [
    {"role": "system", "content": "你是一个乐于助人的AI助手"},
    {"role": "user", "content": "Python中如何读取文件？"}
]

response = chat_with_model(conversation)
print(response)

对话API需要传入一个消息列表，每条消息包含角色(role)和内容(content)。角色可以是：

• "system"：系统提示，设定AI的行为
• "user"：用户输入
• "assistant"：AI之前的回复

5. 常见问题与调试技巧

5.1 认证失败错误

如果收到401错误，检查：

1. API密钥是否正确
2. 密钥是否包含在请求头中
3. 密钥是否已过期（某些平台会定期轮换密钥）

5.2 请求超时处理

网络不稳定可能导致请求超时。我们可以添加重试逻辑：

from time import sleep

def safe_api_call(url, payload, max_retries=3):
    for attempt in range(max_retries):
        try:
            response = requests.post(url, headers=headers, json=payload, timeout=30)
            response.raise_for_status()
            return response.json()
        except requests.exceptions.Timeout:
            if attempt == max_retries - 1:
                raise
            sleep(2 ** attempt)  # 指数退避
        except requests.exceptions.RequestException as e:
            raise Exception(f"API请求失败: {e}")

5.3 控制生成质量

通过调整参数可以获得不同的生成效果：

• temperature：控制随机性（0-1，值越大越有创意）
• max_tokens：限制生成长度
• top_p：控制生成多样性

data = {
    "prompt": "写一首关于春天的诗",
    "max_tokens": 100,
    "temperature": 0.8,
    "top_p": 0.9
}

6. 进阶应用与扩展思路

现在你已经掌握了基础调用方法，可以尝试更有趣的应用：

1. 构建命令行聊天工具：使用argparse库创建一个可以通过命令行与AI对话的工具
2. 开发简单的Web界面：用Flask或FastAPI搭建一个网页版聊天应用
3. 实现内容自动生成：批量生成博客大纲、产品描述等内容
4. 构建学习助手：让AI解释编程概念或调试代码

比如，下面是一个简单的命令行聊天工具实现：

import readline  # 提供命令行历史记录功能

def interactive_chat():
    messages = [
        {"role": "system", "content": "你是一个乐于助人的编程助手"}
    ]
    
    print("输入'退出'结束对话")
    while True:
        user_input = input("你: ")
        if user_input.lower() in ["退出", "exit"]:
            break
            
        messages.append({"role": "user", "content": user_input})
        response = chat_with_model(messages)
        print(f"AI: {response}")
        messages.append({"role": "assistant", "content": response})

if __name__ == "__main__":
    interactive_chat()

7. 总结与下一步学习建议

跟着这篇教程走下来，你应该已经成功部署了千问3.5-9B模型，并学会了用Python调用它的API完成基础任务。虽然示例很简单，但这已经是一个真正的AI应用了。

实际使用中，你可能会发现模型有时会生成不符合预期的内容。这时可以尝试调整提示词(prompt)的写法，或者通过更精细的参数控制生成结果。随着经验积累，你会逐渐掌握与AI模型"沟通"的技巧。

如果想深入学习，建议从以下几个方向继续探索：

• 学习更复杂的提示工程技巧
• 了解如何用LangChain等框架构建更复杂的AI应用
• 尝试微调模型以适应特定领域任务
• 探索如何将AI功能集成到现有系统中

记住，AI开发是一个需要不断实践的领域。多动手尝试不同的应用场景，你会进步得更快。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。