https://www.dong-blog.fun/post/1965

之前在这个博客介绍了一些：litellm Proxy 的安装与配置

确实好用，简单易用。

安装 litellm Proxy

在命令行中安装 litellm Proxy：

pip install 'litellm[proxy]'

启动本地服务

启动本地服务时，可以指定一些参数：

litellm --host 0.0.0.0 --port 8000 -c litellm_config.yaml --add_key "your_key_here"

litellm_config.yaml 的配置示例

以下是一个示例配置文件，展示了如何配置多个模型：

model_list:
  - model_name: 'GPT-4'
    litellm_params:
      model: 'azure/GPT-4'
      api_base: https://your-openai-endpoint.openai.azure.com/
      api_version: '2023-12-01-preview'
      api_key: 'your_api_key_here'
  - model_name: 'deepseek-v3'
    litellm_params:
      model: 'openai/your-model-name'
      api_base: https://your-api-endpoint.com/api/v3
      api_key: 'your_api_key_here'
  - model_name: 'qwen2.5-32B'
    litellm_params:
      model: 'openai/your-model-name'
      api_base: http://your-api-endpoint.com/v1
      api_key: 'your_api_key_here'
  - model_name: 'DeepSeek-R1-Distill-Qwen-32B'
    litellm_params:
      model: 'openai/your-model-name'
      api_base: http://your-api-endpoint.com/v1
      api_key: 'your_api_key_here'

说明

1. model_name：这是模型的名称，可以根据需要自定义。
2. litellm_params：
   • model：模型的标识符。
   • api_base：API 的基础 URL 地址。
   • api_version：API 的版本号（如果需要）。
   • api_key：API 的访问密钥。

请根据实际情况替换上述配置中的占位符（如 your_key_here、your_api_key_here 等），以确保配置正确。