• Qwen3.6-27B 标准版（BF16）多模态

1、硬件配置

组件

最低配置

推荐配置

说明

GPU

单卡80GB（A100/H100）

2× A100 80GB 或 8× RTX 4090（24GB）

模型权重约 54GB，推理需额外显存用于 KV Cache

CPU

16 核

32 核以上（如 AMD EPYC / Intel Xeon）

主要用于数据预处理，推理以 GPU 为主

内存

128 GB

256 GB

模型加载 + 系统开销 + 长上下文缓存

存储

200 GB SSD

500 GB NVMe SSD

模型文件约 54GB，建议预留空间

网络

千兆网卡

万兆网卡 / InfiniBand

多卡推理时卡间通信带宽
2、价格：

1、8*RTX方案

项目

配置

估算价格

GPU

8× RTX 4090 24GB

¥134,000 – ¥168,000

CPU

2× AMD EPYC 9654 / Intel Xeon Platinum

¥30,000 – ¥50,000

主板

 支持 8× PCIe 4.0/5.0 服务器主板

¥15,000 – ¥25,000

内存

512GB – 1TB DDR5 ECC

¥20,000 – ¥40,000

存储

2× 4TB NVMe SSD + 网络存储

¥8,000 – ¥15,000

电源

4× 3000W 冗余电源

¥15,000 – ¥25,000

散热

机柜级风冷/水冷系统

¥20,000 – ¥40,000

机箱/网络

4U 服务器机箱 + 万兆网卡/InfiniBand

¥15,000 – ¥30,000

总计

¥227,000 – ¥353,000（约 23–35 万元）

2、2× H100 SXM5（推荐，有 NVLink）

项目

配置

估算价格

GPU

2× H100 SXM5 80GB

¥40 – 48 万元

CPU

 2× AMD EPYC / Intel Xeon

¥3 – 5 万元

主板

支持 2× SXM5 的 2U/4U 服务器主板（含 NVLink 背板）

¥11 – 18 万元

内存

512GB – 1TB DDR5 ECC

¥4 – 7 万元

存储

2× 4TB NVMe SSD + 网络存储

¥1 – 2 万元

电源

2× 3000W 冗余电源（SXM 需液冷，电源冗余要求低）

¥1 – 2 万元

散热

机柜级液冷系统（SXM 必需）

¥4 – 7 万元

机箱/网络

2U/4U 机架式服务器机箱， 双万兆网卡 / InfiniBand

¥2 – 4 万元

总计

约 ¥80 – 114 万元

3、2× H100 PCIe（性价比，无 NVLink）

项目

配置

估算价格

GPU

2× H100 PCIe 80GB

¥32 – 43 万元

CPU

1× AMD EPYC / Intel Xeon

¥2 – 2.5 万元

主板

支持 2× PCIe 5.0 的服务器主板

¥4 – 7 万元

内存

512GB – 1TB DDR5 ECC

¥2 – 4 万元

存储

2× 4TB NVMe SSD + 网络存储

¥1 – 2 万元

电源

2× 2000W 冗余电源（单卡 350W，风冷即可）

¥1 – 2 万元

散热

机柜级风冷系统（高端风冷可压 2× 350W）

¥1 – 2 万元

机箱/网络

4U 机架式服务器机箱，双万兆网卡

¥2 – 3 万元

总计

约 ¥47 – 70 万元
3、性能:并发（输入 4K tokens，输出 2K tokens）

方案

模型权重

可用显存

单请求占用

理论并发

多卡效率

实际并发

单请求延迟

8× RTX 4090

54 GB (TP=4，每卡 13.5GB)

10.5GB×4=42GB

~12 GB

3 – 4

60%

2 – 3

~4 – 6 秒

2× H100 PCIe

54 GB (TP=2，每卡 27GB)

53GB×2=106GB

~12 GB

8

75%

6

~2.5 秒

2× H100 SXM5

54 GB (TP=2，每卡 27GB)

53GB×2=106GB

~12 GB

8

95%

7 – 8

~1.5 秒

RTX 4090 并发低的原因：单卡只有 24GB，TP=4 后每卡只剩 10.5GB 可用，长上下文 KV Cache 占满即爆

一句话总结

RTX 4090：便宜但显存是硬伤，并发 2-3（长文本几乎单线程）

H100 PCIe：甜点配置，并发 6-8，性价比最高

H100 SXM5：贵但体验最好，并发 7-8 且延迟最低，适合训练和长文本

并发数由显存决定，三者差距不大；但响应速度和稳定性由互联决定，SXM5 碾压前两者。

  • Qwen3.6-27B-FP8-多模态

1、硬件配置

组件

最低配置

推荐配置

说明

GPU

单卡 40GB（RTX 6000 Ada 48GB）

2× RTX 6000 Ada 48GB

模型权重约 27GB（FP8），推理需额外显存用于 KV Cache

CPU

16 核（AMD Ryzen 9 / Intel i9）

32 核以上（如 AMD EPYC / Intel Xeon）

主要用于数据预处理，推理以 GPU 为主

内存

128 GB

256 GB

模型加载 + 系统开销 + 长上下文缓存 + 后期扩展预留

存储

200 GB SSD

1TB NVMe SSD

 模型文件约 27GB（FP8），建议预留空间给日志与数据

网络

千兆网卡

万兆网卡 / InfiniBand

多卡推理时卡间通信带宽（PCIe P2P）
2、报价

单卡方案（最低配置）

项目

配置

估算价格

GPU

1× RTX 6000 Ada 48GB

¥30,000 – ¥35,000

CPU

AMD Ryzen 9 7950X (16C32T)

¥3,500 – ¥4,500

主板

支持 1× PCIe 5.0 x16 工作站主板

¥3,000 – ¥5,000

内存

128GB DDR5 ECC

¥3,000 – ¥5,000

存储

500GB NVMe SSD

¥500 – ¥800

电源

1000W 80Plus 金牌

¥800 – ¥1,500

散热

360 水冷

¥500 – ¥1,000

机箱

 全塔机箱

¥500 – ¥1,000

总计

约 ¥77,000 – ¥94,000（7.7–9.4 万元）

双卡方案（推荐配置，预留扩展）

项目

配置

估算价格

GPU

2× RTX 6000 Ada 48GB

¥60,000 – ¥70,000

CPU

AMD EPYC 9654 / Intel Xeon Platinum (32C+)

¥8,000 – ¥15,000

主板

支持 2× PCIe 5.0 x16 全速服务器主板

¥5,000 – ¥8,000

内存

256GB DDR5 ECC

¥6,000 – ¥10,000

存储

1TB NVMe SSD

¥1,000 – ¥1,500

电源

1600W 80Plus 白金

¥2,000 – ¥3,500

散热

机柜级风冷 / 分体水冷

¥3,000 – ¥5,000

机箱

 4U 机架式 / 全塔工作站

¥2,000 – ¥4,000

总计

约 ¥117,000 – ¥157,000（12–16 万元）
3、性能：

方案

模型权重

可用显存

单请求占用

理论并发

多卡效率

实际并发

单请求延迟

1× RTX 6000 Ada

27 GB (FP8)

~21GB

~6 GB

7

无-

5–6

~1.5 秒

2× RTX 6000 Ada

27 GB (TP=2，每卡 13.5GB)

~34.5GB×2=69GB

~6 GB

14

75%

10–11

~1.2 秒

三、DeepSeek-R1-Distill-Qwen-32B (INT8)-纯文本

1、硬件

组件

最低配置

推荐配置

说明

GPU

单卡 40GB（RTX 6000 Ada 48GB）

2× RTX 6000 Ada 48GB

模型权重约 32GB（INT8），推理需额外显存用于 KV Cache

CPU

16 核

32 核以上（如 AMD EPYC / Intel Xeon）

主要用于数据预处理，推理以 GPU 为主

内存

128 GB

256 GB

模型加载 + 系统开销 + 长上下文缓存 + 后期扩展预留

存储

200 GB SSD

1TB NVMe SSD

模型文件约 32GB（INT8），建议预留空间给日志与数据

网络

千兆网卡

万兆网卡 / InfiniBand

多卡推理时卡间通信带宽（PCIe P2P）
2、报价
  1. 单卡

项目

配置

估算价格

GPU

1× RTX 6000 Ada 48GB

¥32,000 – ¥45,000

CPU

AMD Ryzen 9 7950X (16C32T)

¥3,500 – ¥4,500

主板

支持 1× PCIe 5.0 x16 工作站主板

¥3,000 – ¥5,000

内存

128GB DDR5 ECC

¥3,000 – ¥5,000    

存储

1TB NVMe SSD

¥800 – ¥1,200

电源

1000W 80Plus 金牌

¥800 – ¥1,500

散热

360 水冷

¥500 – ¥1,000

机箱

 全塔机箱

¥500 – ¥1,000

总计

约 ¥57,000 – ¥74,000（6–7.5 万元）
  1. 双卡方案（推荐配置，预留扩展）

项目

配置

估算价格

GPU

2× RTX 6000 Ada 48GB

¥64,000 – ¥70,000

CPU

AMD Threadripper 7970X (32C64T)

¥15,000 – ¥20,000

主板

支持 2× PCIe 5.0 x16 全速

¥5,000 – ¥8,000

内存

256GB DDR5 ECC

¥6,000 – ¥10,000    

存储

2× 1TB NVMe SSD

¥1,500 – ¥2,500

电源

1600W 80Plus 白金

¥2,000 – ¥3,500

散热

机柜级风冷 / 分体水冷

¥3,000 – ¥5,000

机箱

 4U 机架式 / 全塔工作站

¥2,000 – ¥4,000

总计

约 ¥124,500 – ¥163,000（12–16 万元）
3、性能预估

方案

模型权重

可用显存

单请求占用

理论并发

多卡效率

实际并发

单请求延迟

1× RTX 6000 Ada

32 GB (INT8)

~16GB

~8 GB

6

无-

4–5

~2 秒

2× RTX 6000 Ada

 32 GB (TP=2，每卡 16GB)

~32GB×2=64GB

~8 GB

12

75%

8–9

~1.5 秒

Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。