本文整理自 AICon 上海分享「Lance实践：从多模态数据湖到Agent记忆湖的演进之路」（演讲者：马进），通过AI音视频总结工具 Ai好记 转录整理，以下为视频转文字精炼整理后的会议笔记内容。

---

多模态数据管理的三大痛点

AI 时代的数据和传统数据完全不同。以智驾、具身智能、内容平台为例，数据包含文本、图像、视频、音频、点云等多种模态，对存储和管理提出了全新的挑战：

痛点	表现	后果
数据孤岛	训练用一套系统、检索用另一套、分析再用一套	数据冗余，一致性问题频发
模式变更成本高	加一列新特征需要重写全表数据	实验迭代周期长
访问模式不匹配	传统格式为顺序读取优化，但AI训练需要随机读取	随机点查性能极差

传统的 Parquet 格式在 AI 场景下越来越力不从心——它擅长的是批量分析，而不是 AI 训练所需的高频随机访问和混合存储。

Lance：新兴的AI数据库格式

Lance 正是为了解决上述问题而生。它不只是一个文件格式，而是一个集文件格式、表格式、索引和 Catalog 规范于一体的完整栈。

面向AI场景的四大特性

特性	说明	解决什么问题
支持大宽列	轻松处理数千列的多模态特征	特征工程频繁添加新列
零成本结构变更	加列只需新增文件，不重写历史	数据标注和特征实验迭代快
混合存储	结构化与非结构化数据共存	一份数据同时服务训练、检索、分析
高效随机点查	基于行偏移的毫秒级单行访问	训练数据采样和在线服务

零成本加列的实现原理

Lance 允许不同列存储在不同文件中。当需要新增一列（如新的特征或标签）时，只需新增一个存储该列数据的文件，并更新元数据，完全不用重写已有的数据文件。这对需要频繁进行特征工程和实验迭代的 AI 场景价值极大。

Lance vs Parquet：随机点查性能对比

维度	Parquet	Lance
架构	RowGroup 分层	Footer-ColumnMetadata-Data 三层解耦
单列读取	加载整个RowGroup元数据	直接定位列文件
单行点查	多次IO	1-2次IO
性能差异	基线	最高100倍提升

Lance 的核心架构创新在于取消了 RowGroup 这个传统的中间层次，将元数据、列描述和实际数据完全解耦，实现了真正的列级随机访问。

Lance 在 AI Agent 场景的应用

在 AI Agent 快速发展的背景下，Lance 找到了一个意想不到的重要应用场景——Agent 记忆和上下文管理。

Agent 的交互历史天然是多模态的：文本对话、图片、文件引用、工具调用结果等。传统做法是把这些信息存到不同的存储系统里，但 LanceDB（基于 Lance 的向量数据库）能以统一的方式存储所有模态数据。

场景	传统方案	LanceDB 方案
记忆存储	关系数据库+对象存储+向量库	统一数据底座
上下文检索	多系统联合查询	单系统混合检索
历史回溯	数据格式不统一	多模态一致视图

LanceDB 的轻量和开箱即用特性让它特别适合 Agent 应用——无需复杂部署，通过 SDK 就能直接使用。

火山引擎的开源贡献与落地实践

火山引擎是 Lance 社区的早期核心共建者，贡献的核心能力包括：

贡献	价值
Branch & Tag	支持数据版本管理和实验对比
CDC	增量数据变更捕获
性能优化	针对智驾场景的随机读取加速

在智驾和内容平台等客户场景中，Lance 帮助客户实现了训练、检索、分析的一体化数据底座，不再需要维护多套存储系统。

Lance 与现有生态的关系

一个常见的问题是：Lance 会取代 Parquet 或 Iceberg 吗？

答案是否定的。Lance 的定位是差异化补充，不是替代：

场景	推荐格式
传统数据分析和报表	Parquet
数据湖管理和事务	Iceberg
AI训练、多模态存储、向量检索	Lance

Lance 与 Spark、Flink 等主流引擎可以协同工作，而非对立关系。

---

FAQ

Q：Lance 适合什么规模的数据？
A：从 GB 到 PB 级别均可。Lance 的轻量特性对小数据（单机 Agent 应用）和大数据（云上智驾训练）都有优势。

Q：Lance 和 LanceDB 是什么关系？
A：Lance 是底层数据格式，LanceDB 是基于 Lance 构建的向量数据库。LanceDB 使用 Lance 格式作为存储后端，额外提供向量索引和检索能力。

Q：Agent 记忆用 LanceDB 会不会比专用向量数据库慢？
A：对于中小规模的 Agent 记忆（百万级向量以下），LanceDB 的延迟完全可以接受。优势在于不用维护多套存储系统。

---

以上内容由 Ai好记 转录整理。
Ai好记 是一款音视频转图文笔记的AI音视频转录总结工具，支持解析B站、抖音、小宇宙等平台链接及本地。网盘的音视频文件，转录后自动生成精华速览、要点总结、思维导图和结构化笔记，帮助你把几小时的视频内容变成可搜索、可复习的图文笔记。