Spring AI项目中使用OpenAiChatModel对接vLLM部署的deepseek模型报错问题分析

【免费下载链接】spring-ai An Application Framework for AI Engineering 项目地址: https://gitcode.com/GitHub_Trending/spr/spring-ai

问题背景

在使用Spring AI框架的OpenAiChatModel组件对接vLLM服务部署的deepseek大语言模型时，开发者普遍遇到了HTTP 400错误。该问题表现为虽然基础URL、API密钥和模型配置都正确，但通过Spring AI调用时仍然失败，而直接使用HTTP请求却能正常工作。

错误现象

开发者反馈的主要错误信息为：

400 - {"object":"error","message":"[{'type': 'missing', 'loc': ('body',), 'msg': 'Field required', 'input': None}]","type":"BadRequestError","param":null,"code":400}

技术分析

1. 问题本质

经过技术分析，这个问题本质上与HTTP请求体的传输方式有关。vLLM服务对HTTP请求的处理存在一个已知限制：它无法正确处理分块传输编码(chunked transfer encoding)的HTTP请求。

2. 根本原因

Spring框架默认使用的HTTP客户端在发送请求时，可能会采用分块传输编码方式。而vLLM服务端在解析这类请求时，无法正确识别请求体内容，导致返回400错误，提示请求体中缺少必要字段。

3. 临时解决方案

目前可行的临时解决方案是替换默认的HTTP客户端实现。具体操作如下：

1. 引入Jetty客户端依赖：

<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-client</artifactId>
</dependency>
<dependency>
  <groupId>org.eclipse.jetty</groupId>
  <artifactId>jetty-reactive-httpclient</artifactId>
</dependency>

2. 配置自定义的HTTP客户端：

OpenAiApi openAiApi = OpenAiApi.builder()
    .baseUrl(chatConfig.getBaseUrl())
    .apiKey(chatConfig.getApiKey())
    .restClientBuilder(RestClient.builder()
        .requestFactory(new JettyClientHttpRequestFactory()))
    .webClientBuilder(WebClient.builder()
        .clientConnector(new JettyClientHttpConnector()))
    .build();

长期建议

虽然上述方案可以暂时解决问题，但从长远来看，建议：

1. vLLM项目团队应修复对分块传输编码请求的支持问题
2. Spring AI项目可以考虑增加对vLLM这类服务的特殊适配
3. 开发者在使用类似服务时，应关注HTTP客户端的配置选项

总结

这个问题展示了在集成不同技术栈时可能遇到的协议兼容性问题。作为开发者，理解底层通信机制（如HTTP协议细节）对于解决这类集成问题至关重要。同时，这也提醒我们在选择技术组件时，需要考虑其协议支持完备性。

对于正在使用Spring AI对接vLLM服务的开发者，建议暂时采用Jetty客户端方案，并关注相关项目的更新，以获取更完善的官方支持。

【免费下载链接】spring-ai An Application Framework for AI Engineering 项目地址: https://gitcode.com/GitHub_Trending/spr/spring-ai