Hello ROCm|AMD 云环境部署 Gemma4 大模型实操
·
参与 Datawhale AMD Hello ROCm 专题学习,完成 Day1-2 全部实操任务,完整流程记录:
- 注册 AMD 开发者账号,领取 ROCm 云算力环境;
- 配置腾讯 pip 国内镜像,安装 modelscope 工具;
- 踩坑总结:pip 换源仅加速 Python 包,模型大文件下载需要单独配置国内镜像,modelscope 镜像存在版本兼容 bug,改用 hf-mirror 高速下载 15G Gemma-4-E4B-it 完整权重;
- 使用 vLLM 在 ROCm AMD 显卡启动推理服务,成功调用对话 API,正常启停服务。附上实操终端截图:模型完整目录、vLLM 服务启动日志。#Datawhale #AMDev


更多推荐



所有评论(0)