标签：#Datawhale #AMDev
耗时：约15分钟
任务：在AMD云环境部署Google Gemma4(E4B)并完成对话测试

---

一、我做了什么

跟着Datawhale的教程，在AMD提供的ROCm云环境里，完整走了一遍“下载开源大模型 → 启动推理服务 → 对话测试”的流程。

简要步骤回顾：

1. 检查环境：用amd-smi和PyTorch命令确认GPU和ROCm可用。

2. 下载模型：切换pip到国内镜像，安装ModelScope，用modelscope download拉取google/gemma-4-E4B-it模型（大约8分钟，权重文件15G）。

3. 安装vLLM并启动服务：在一个终端里用vllm serve命令把模型跑起来，服务会一直占用终端。

4. 新终端对话测试：另开一个终端，用vllm chat连上服务，问“你是谁，你能做什么”，模型正常返回回答。

5. 关闭服务：两个终端分别Ctrl+C，释放显存。

---

二、遇到的小问题 & 解决

问题	怎么解决的
modelscope download 命令找不到	重新pip install -U modelscope后正常
第一个vLLM启动等了快3分钟	日志还在滚动，是正常现象（首次需编译内核），耐心等就行
第二个终端连不上	发现第一个终端还没启动完（没出现Application startup complete），等完全启动后再执行聊天命令就OK了

---

三、我的理解 & 收获

1. “大模型部署”到底在做什么？
以前觉得很高深，走完一遍发现本质就三步：

• 拿到模型文件（一堆数字参数）

• 用推理框架（vLLM）把它加载进显存，变成一个等待提问的服务

• 客户端发请求，服务回答案

2. 为什么教程让我开两个终端？
因为实际生产环境就是“服务端 + 客户端”分离的。一个终端跑后端服务（不能关），另一个当客户端发消息。理解了这点，以后调用OpenAI API之类的东西就一点都不神秘了。

3. AMD ROCm 比想象中顺手
原本担心AMD显卡跑AI会有坑，但这次全程没遇到驱动或兼容性问题，vLLM对ROCm的支持很成熟，torch.cuda.is_available()返回True，GPU型号也能正常识别。

4. 国内镜像 + ModelScope 真香
下载15G模型文件只用了不到10分钟，不用挂代理，体验很丝滑。

---

四、一点小建议给后面做这个任务的同学

• 启动vLLM后一定不要关第一个终端，否则服务就停了。

• 如果显存不足（比如只有16G），启动命令可以加上--max-model-len 4096降低上下文长度。

• 等待模型下载或编译时，可以去喝口水——不要觉得是卡住了。

---

五、下一步计划

这次只是部署和跑通推理。接下来会尝试：

• 用LoRA微调Gemma4（教程的后续任务）

• 对比vLLM和普通transformers推理的速度差异

---

六、总结

15分钟，从零到有一个能对话的本地大模型。
原来“部署大模型”并不是什么高不可攀的事情，关键是选对工具（vLLM + ModelScope + AMD ROCm环境）和跟着一个靠谱的教程一步步走。

如果你也在学大模型部署，欢迎交流讨论～