conda安装 (版本看自己需要)

sh Miniconda3-py38_4.10.3-Linux-x86_64.sh
source ~/.bashrc

vllm安装

pip install vllm==0.5.5

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐