大家好，我们是深圳市智恒百亿科技，主营白鱼鲨 5090 八卡服务器供货销售，服务大量开发者、运维工程师与企业用户。这款设备主打开箱即用、7×24 小时稳定运行，广泛服务于大模型部署、AI 推理、三维渲染等领域。很多伙伴拿到设备后，希望快速完成部署并上线大模型服务，今天为大家整理一套完整实操流程：开箱查验→机柜上架→IPMI 配置→驱动与环境校验→多卡测试→vLLM 部署大模型→监控告警搭建，新手也可以按步骤操作。

一、开箱物品查验表

物品名称	数量	查验要点
白鱼鲨 5090 八卡整机	1 台	检查机箱外观无磕碰、风扇、指示灯状态正常
配套电源线	5 根	适配 5 台热插拔电源接口，线材完好无破损
网络跳线	2 根	分别用于设备业务网络与 IPMI 管理网络
说明书 + 质保卡	1 套	核对硬件配置参数、质保条款、售后联系方式
驱动 / CUDA 安装包（便携 U 盘）	1 个	内置出厂实测稳定版本，备用重装环境使用

二、机柜上架与基础接线

1. 将 7U 机架式机箱推入标准 IDC 机柜，固定两侧导轨，保证设备摆放稳固；
2. 依次将 5 根电源线接入设备电源模块与机房供电接口；
3. 两根网线分别连接设备业务网口、IPMI 管理口，另一端接入机房交换机；
4. 按下开机键，观察面板指示灯：电源指示灯、GPU 状态灯常亮即为开机正常。

三、IPMI 远程管理配置（核心运维功能）

1. 设备开机自检阶段，按 Del 键进入 BIOS 界面，找到 IPMI 配置选项；
2. 手动设置 IPMI 静态 IP 地址、子网掩码、网关，保存配置并退出 BIOS；
3. 本地浏览器输入设置好的 IPMI 地址，登录后台；
4. 后台可实现远程开关机、实时监控 CPU、内存、GPU 温度与功耗、查看运行日志、远程控制台操作，适配机房无人值守场景。

四、驱动与 CUDA 环境校验

整机出厂预装 Ubuntu 22.04 LTS 系统、适配版显卡驱动与 CUDA 工具包，常规场景无需重装。如需校验或升级，操作步骤如下：

1. 登录系统终端，输入nvidia-smi命令，查看 8 张 RTX5090 显卡是否全部识别、CUDA 版本是否匹配；
2. 若需重装环境，挂载配套 U 盘，读取安装包执行安装命令，完成后重启设备；
3. 再次执行校验命令，确认环境正常。

五、多卡 P2P 通信测试表

测试命令	预期运行结果
nvidia-smi topo -m	8 张显卡全部互联，P2P 状态显示为 Yes
gpustat	正常展示 8 块显卡实时状态，无报错信息
python -c "import torch;print(torch.cuda.device_count())"	终端输出数字 8，证明显卡全部被框架识别

六、vLLM 部署大模型实操

以 Llama 2 7B 模型为例，快速搭建推理服务：

1. 终端执行命令安装 vLLM 框架：pip install vllm；
2. 启动分布式推理服务：python -m vllm.entrypoints.openai.api_server --model meta-llama/Llama-2-7b-chat-hf --tensor-parallel-size 8 --gpu-memory-utilization 0.9；
3. 本地使用 curl 命令调用接口测试服务，正常返回内容即部署成功；
4. 八卡并行模式下，推理速度相比单卡提升 6-7 倍，并发承载能力大幅增强。

七、监控告警配置

为保障设备长期稳定运行，推荐搭建 Prometheus+Grafana 监控体系：

1. 部署 nvidia-exporter，采集 GPU 温度、功耗、利用率、风扇转速等数据；
2. 在 Grafana 中配置可视化面板，实时查看整机运行状态；
3. 设置告警规则：GPU 温度≥80℃、满负载持续 5 分钟、电源异常等情况，触发邮件 / 企业微信通知。

八、常见故障排查表

故障现象	主流排查方案
系统识别显卡数量不全	检查 PCIe 供电线路、重新插拔显卡、更新主板 BIOS
显卡驱动安装失败	关闭主板 Secure Boot、彻底卸载旧版本驱动后重试
模型训练 / 推理进程异常退出	下调 batch size 参数、排查显存溢出问题、更新 CUDA 版本
设备运行温度过高	检查风道是否堵塞、清理机箱灰尘、手动调高风扇转速

九、常见 FAQ（实操运维向）

Q1：设备默认系统为 Ubuntu 22.04，是否支持更换为 CentOS 等系统？

A：默认系统经过全流程适配，稳定性最佳；同时支持更换 CentOS 等主流服务器系统，我们可提供对应的驱动、环境适配指导。

Q2：一台设备上可以同时部署多个不同大模型吗？

A：支持，借助 vLLM、TGI 等框架可实现多模型并行部署，并且可以完成资源隔离，互不干扰。

Q3：设备出厂是否提前配置 RAID 阵列？需要手动设置吗？

A：出厂已完成 RAID 配置，系统盘采用 RAID1 保障数据安全，数据盘采用 RAID0 提升读写速度，用户无需手动配置。

Q4：远程技术支持包含哪些服务范围？

A：涵盖系统重装、驱动与 CUDA 环境配置、大模型部署、性能调优、硬件故障排查等全流程远程协助，解决运维过程中的各类问题。

十、总结

白鱼鲨 5090 八卡服务器出厂已完成绝大多数环境配置，极大降低了部署门槛，按照本文流程操作，零基础运维人员也能在短时间内完成从开机到大模型服务上线的全部工作。我们依托稳定货源，同时持续完善配套技术服务，力求让算力设备 “好用、易维、稳定”。