解决方法一

Reasoning Outputs - vLLM

增加参数

--enable-reasoning
--reasoning-parser deepseek_r1

响应肉容将分为两部分:

  • reasoning_content
  • content

解决方法二

修改 chat template

增加启动参数

--chat-template /path/to/deepseek_r1.template

deepseek_r1.template

{% if not add_generation_prompt is defined %}{% set add_generation_prompt = false %}{% endif %}{% set ns 
Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐