本文字数：2310；估计阅读时间：6分钟

作者：Tom Schreiber and Lionel Palacin

 

 

 

 

TL;DR 

CostBench 是一个用于衡量云数据仓库成本效益 (cost-performance) 的开放基准测试：它关注的是每美元性能 (performance-per-dollar)，而不仅仅是速度。

它帮助团队为实时分析工作负载选择能够提供最高成本效益的系统。

 

 

仅凭性能，难窥全貌

 

大多数基准测试都会告诉你查询的运行速度。这虽然有用，但并不全面。

在云数据平台中，速度和成本密不可分。

如果数据仓库 A 比数据仓库 B 更快，A 在性能图表上会显得更出色。但如果 A 的运行成本是 B 的三倍，这种比较就截然不同了。你可能会用相同的预算购买 B 更大规模的配置，获得更多的计算资源 (compute)，最终使 B 的性能超越 A，且总体开销更低。

这种比较之所以困难，是因为每个平台的成本衡量方式各不相同：例如 credits、DBUs、slot-seconds、compute units 和 RPUs。

 

尽管单位名称各异，但其核心问题却始终如一：

系统需要多少算力 (compute) 来完成工作负载，以及这些算力的成本是多少？

CostBench 直接回答了这个问题。它还揭示了成本效益 (cost-performance) 在哪些环节可能出现瓶颈：是在数据摄入 (ingest) 阶段，数据准备就绪 (query-ready) 阶段，还是在服务读取 (serving reads) 阶段。

 

 

AI 时代，为何这一指标尤为重要

Agentic 分析 (Agentic analytics) 对数据库的每一层都带来了更大的压力。

新数据源源不断：包括事件、事务、日志、追踪、用户活动、欺诈信号和操作状态。与此同时，用户和代理 (agent) 都期望基于最新数据获得快速响应。

如果数据库运行缓慢，代理的响应速度也会受影响。如果数据库成本高昂，团队便会开始限制代理的能力范围：减少重试次数、使用更小的数据集、提供更少的上下文信息，甚至依赖陈旧数据。

在 AI 时代，快速且低成本的特性必须贯穿整个分析路径：持续的数据摄入、数据准备就绪以及数据读取。

 

读取侧压力 (Read-side pressure) 源于查询量。一个单一的用户问题可能触发大量的 SQL 查询，包括模式探索、验证、重试、优化、深入分析和后续操作。每一个额外的查询都会消耗算力 (compute)。在 Agentic 规模下，查询量会直接转化为巨大的成本压力。

写入侧压力源于对数据实时新鲜度的要求：新鲜数据需要不断地被摄取、压缩和组织，以便查询时能够跳过更多数据。这项工作甚至在第一次查询运行之前就开始消耗计算资源，并决定了后续查询的计算资源开销。

 

 

CostBench 衡量什么

CostBench 将这种压力转化为一个涵盖全链路（full-path）的成本性能评估体系，该体系包含两个可衡量的维度：

• 读取侧成本性能 ：每投入一美元能获得多少查询性能。

• 写入侧成本性能 ：每投入一美元，能将新鲜摄取的数据高效转化为可查询数据的程度。

它们共同帮助回答了在选择平台时至关重要的问题：

对于实时分析工作负载，哪个系统能以最划算的成本提供最高的性能？

 

 

CostBench 的首个版本侧重于读取侧，即对已加载数据执行分析查询。我们还开始衡量写入侧，并以 Snowflake 作为 ClickHouse 的对比点 进行了初步测试。未来将覆盖更广泛的写入侧场景。

这为 CostBench 确立了一个简单的路线图：揭示实时成本性能是否能在整个分析管道中保持优异，即从将新鲜数据转化为可查询状态，到高效地查询这些数据。

 

 

首批结果：读取侧成本性能

CostBench 的首个版本将读取侧性能转化为主要云数据仓库之间可比较的“每美元性能”结果。

我们使用源自真实匿名数据集的 43 个生产环境分析查询，对 ClickHouse Cloud、Snowflake、Databricks、BigQuery 和 Redshift 进行了比较。随后，我们应用 各厂商实际的计算计费模型，将所有系统置于同一成本性能评估体系中，从而衡量它们的性能高低和成本优劣。

 

随着数据规模的增长，ClickHouse Cloud 是唯一能在“快速且低成本”区域保持优势的系统。其最近的竞争对手在成本性能方面表现差 23 倍。

这正是 CostBench 的价值所在：它将各厂商特有的运行时性能和计费模型，转化为团队在选择平台时可直接使用的参考依据。

 

 

开放且可复现的设计

该基准测试公开了其测试工作负载、脚本、配置、定价假设、原始 JSON 结果和具体方法。如果某个结果出乎意料，您可以检查生成该结果的配置。

 

ClickHouse 是面向 AI 时代打造的高性能实时分析数据库，能够以极致性能处理海量数据分析任务。凭借高并发、低延迟和云原生架构，ClickHouse 广泛应用于可观测性、数据仓库、实时分析及 AI 数据基础设施等场景。我们致力于帮助企业在公有云平台上构建安全、弹性且高性价比的实时分析与 AI 数据平台，加速释放数据价值，推动智能化创新与数字化转型。目前，Trip.com、DiDi、Meta、Sony、Netflix、Deutsche Bank、Sierra、Cloudflare 等全球领先企业均在使用 ClickHouse 支撑其关键业务和数据分析平台。