🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度

通过Nodejs快速构建支持多模型切换的AI客服后端服务

在构建AI驱动的客服系统时，一个常见的需求是能够根据对话的复杂度、成本预算或特定任务类型，灵活地调用不同的大语言模型。直接对接多家厂商的API意味着需要管理多个密钥、处理不同的调用格式，这增加了开发的复杂性。本文将介绍如何使用Node.js和OpenAI官方JavaScript SDK，通过Taotoken平台统一接入多个模型，并实现一个可以动态切换模型的后端服务。

1. 项目初始化与环境配置

首先，确保你的开发环境已安装Node.js（建议版本18或更高）。创建一个新的项目目录，并初始化一个Node.js项目。

mkdir ai-customer-service
cd ai-customer-service
npm init -y

接下来，安装项目所需的依赖。核心依赖是OpenAI官方Node.js库，它将用于发起API请求。我们还将使用dotenv来管理环境变量，以及express来构建一个简单的Web服务器用于演示。

npm install openai dotenv express

在项目根目录下创建一个名为.env的文件，用于存储敏感信息和配置。你将需要从Taotoken控制台获取你的API密钥。

# .env 文件内容
TAOTOKEN_API_KEY=你的_Taotoken_API_Key
TAOTOKEN_BASE_URL=https://taotoken.net/api
PORT=3000

请将你的_Taotoken_API_Key替换为你在Taotoken平台上创建的实际API密钥。TAOTOKEN_BASE_URL是Taotoken提供的OpenAI兼容API端点的基础地址。PORT定义了我们的演示服务器将监听的端口。

2. 创建核心聊天服务模块

我们将创建一个独立的模块来处理与AI模型的通信逻辑。在项目根目录下创建一个名为chatService.js的文件。

这个模块的核心是初始化OpenAI客户端，并配置其使用Taotoken的端点。关键在于将baseURL设置为环境变量中定义的Taotoken地址，并将apiKey设置为从Taotoken获取的密钥。这样，所有通过这个客户端发起的请求都会经由Taotoken平台路由到后端不同的模型供应商。

// chatService.js
import OpenAI from 'openai';
import dotenv from 'dotenv';

dotenv.config();

// 初始化OpenAI客户端，指向Taotoken聚合端点
const openaiClient = new OpenAI({
  apiKey: process.env.TAOTOKEN_API_KEY,
  baseURL: process.env.TAOTOKEN_BASE_URL,
});

/**
 * 发送消息到指定的模型并获取回复
 * @param {Array} messages - 对话消息历史，格式为 [{role: 'user'|'assistant', content: '...'}, ...]
 * @param {string} modelId - 要使用的模型ID，例如 'gpt-4o-mini', 'claude-sonnet-4-6'
 * @param {number} [temperature=0.7] - 生成文本的随机性
 * @returns {Promise<string>} - 模型返回的文本内容
 */
export async function getChatCompletion(messages, modelId, temperature = 0.7) {
  try {
    const completion = await openaiClient.chat.completions.create({
      model: modelId,
      messages: messages,
      temperature: temperature,
      // 可根据需要添加其他参数，如 max_tokens, stream 等
    });

    return completion.choices[0]?.message?.content || '模型未返回有效内容。';
  } catch (error) {
    console.error(`调用模型 ${modelId} 时发生错误:`, error.message);
    // 在实际生产环境中，这里应有更细致的错误处理和重试逻辑
    throw new Error(`AI服务调用失败: ${error.message}`);
  }
}

这个getChatCompletion函数是服务的核心。它接收消息历史、指定的模型ID以及可选的温度参数。模型ID是一个字符串，你可以在Taotoken平台的模型广场查看所有可用的模型及其对应的ID。通过改变传入的modelId参数，我们就可以轻松地在不同的模型之间切换。

3. 构建Express服务器与路由

现在，我们来构建一个简单的HTTP服务器，对外提供聊天接口。创建一个名为server.js的文件。

我们将创建一个POST接口/api/chat，它接收用户消息和期望的模型ID，然后调用上面创建的服务模块获取AI回复。这种设计使得前端或客户端能够按需指定每次对话所使用的模型。

// server.js
import express from 'express';
import dotenv from 'dotenv';
import { getChatCompletion } from './chatService.js';

dotenv.config();

const app = express();
const port = process.env.PORT || 3000;

// 中间件：解析JSON请求体
app.use(express.json());

// 健康检查端点
app.get('/', (req, res) => {
  res.json({ status: 'ok', service: 'AI Customer Service Backend' });
});

// 核心聊天接口
app.post('/api/chat', async (req, res) => {
  const { message, modelId = 'gpt-4o-mini' } = req.body; // 提供默认模型

  if (!message || typeof message !== 'string') {
    return res.status(400).json({ error: '请求中必须包含有效的 message 字段。' });
  }

  // 在实际客服场景中，这里通常会从数据库或会话中获取历史消息
  // 本例简化为单轮对话
  const messages = [{ role: 'user', content: message }];

  try {
    const aiResponse = await getChatCompletion(messages, modelId);
    res.json({
      success: true,
      modelUsed: modelId,
      response: aiResponse
    });
  } catch (error) {
    res.status(500).json({
      success: false,
      error: error.message
    });
  }
});

// 启动服务器
app.listen(port, () => {
  console.log(`AI客服后端服务正在运行，访问 http://localhost:${port}`);
});

为了运行这个ES模块项目，你需要在package.json中添加"type": "module"字段。

// package.json 片段
{
  "name": "ai-customer-service",
  "version": "1.0.0",
  "type": "module",
  "scripts": {
    "start": "node server.js",
    "dev": "node --watch server.js"
  },
  "dependencies": {
    // ... 依赖项
  }
}

现在，你可以使用npm run dev启动开发服务器（支持文件热重载），或者使用npm start启动生产模式服务器。

4. 测试与动态模型切换

服务启动后，你可以使用任何HTTP客户端（如curl、Postman或浏览器扩展）进行测试。下面是一个使用curl进行测试的例子。

curl -X POST http://localhost:3000/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "message": "请用中文简单介绍一下你自己。",
    "modelId": "gpt-4o-mini"
  }'

要切换模型，只需在请求的JSON体中更改modelId字段的值。例如，如果你想使用Claude 3.5 Sonnet模型，可以将modelId改为"claude-sonnet-4-6"。Taotoken平台模型广场中列出的任何模型ID都可以在这里使用。

curl -X POST http://localhost:3000/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "message": "写一首关于秋天的五言绝句。",
    "modelId": "claude-sonnet-4-6"
  }'

这种设计将模型选择权从代码配置中解放出来，交给了每次API调用。你可以在业务逻辑中实现更复杂的模型选择策略，例如：根据用户问题长度选择更经济的模型，根据问题类型（创意写作vs代码调试）选择特长模型，或者根据当前各模型的成本预算进行轮询。

5. 进阶考虑与最佳实践

以上示例提供了一个可运行的最小化实现。在实际生产环境中，你还需要考虑以下几个方面。

会话管理：真实的客服场景是多轮对话。你需要维护一个会话ID，并将历史消息存储在数据库或缓存中，在每次请求时将其构建成messages数组传递给服务函数。

模型选择策略：动态切换的核心在于策略。你可以在后端实现一个ModelRouter类，根据预定义的规则（如关键词匹配、意图识别、成本上限）自动选择本次调用最合适的模型ID，而不是完全由前端指定。

错误处理与降级：在chatService.js的try-catch块中，可以加入重试逻辑。当首选模型调用失败时，可以自动降级到备用模型，确保服务的可用性。

性能与监控：为每次调用记录所使用的模型、消耗的Token数（响应头或响应体中可能包含）、响应时间。这些数据对于后续的成本分析和模型性能评估至关重要。Taotoken控制台也提供了用量看板，可以帮助你从平台层面进行观测。

通过将模型接入抽象为一项配置——即Taotoken的API密钥和基础地址，你的代码便与具体的模型供应商解耦。未来新增或切换模型供应商，无需修改代码，只需在Taotoken平台配置或在请求参数中指定新的模型ID即可。这种架构显著提升了系统的灵活性和可维护性。

---

你可以访问 Taotoken 平台获取API Key，并在模型广场查看所有可用的模型列表及其ID，开始构建你的多模型AI应用。

🚀 告别海外账号与网络限制！稳定直连全球优质大模型，限时半价接入中。 👉 点击领取海量免费额度