OCR(Optical Character Recognition,光学字符识别)可能是计算机视觉领域最古老的问题之一。从 1929 年的机械装置到 2026 年的端到端,它走过了将近一个世纪。

但真正有趣的是,这个领域的四次升级,几乎完美映射了整个 AI 技术栈的演进轨迹。

接下来,我会带你走过 OCR 的四个时代,每一次跃迁背后的技术动因。

01 OCR 0.5 时代:规则与特征匹配(1929–2012)

这个时代跨度最长,机器就像一个高度近视、只会死记硬背的老大爷。它的工作逻辑很简单:人先告诉他字长什么样,他拿着卡尺去纸上挨个比对。

1929 年,奥地利工程师 Gustav Tauschek 申请了人类历史上第一个 OCR 专利——一个用模板匹配来识别字符的机械装置。

这个装置很简单:用光去照射纸张,黑色的墨水会吸光,而白纸会反光,再利用一个刻有字符镂空孔的圆盘,通过旋转这个特殊圆盘来匹配,当后方的光电管接受到了反光,则说明不是这个字符,而当没有光线透过镂空孔的时候,说明匹配成功,再通过机械装置输出对应的字符。

到了 1950-60 年代,OCR 开始商业化。IBM、RCA 等公司推出了能识别特定字体的 OCR 设备,主要用于银行支票和邮政编码。为了能让机器更好的识别字体,甚至诞生了两种字体:OCR-A和 OCR-B。

1974 年,美国发明家 Ray Kurzweil 在一次航班上偶遇一位盲人,这位盲人告诉他,视力障碍并没有给他带来出行障碍,最大的障碍反而是阅读,于是,他做了一件改变 OCR 历史的事:创立了库兹韦尔计算机产品公司,并创建了第一个全字体OCR 系统,这是一种几乎能够处理任何印刷字体的 OCR 系统,而不仅仅是特定的标准字体。

为了实现全字体的 OCR 系统,Ray Kurzweil 抛弃了传统的模板匹配,改为提取字符的特征来实现文字识别,这个算法会先通过分析字符的结构特征,例如线段的方向,线段在哪里交叉等,比如字符 A 就被定义为两条在顶部相交的对角线,中间由一条水平线连接,而小写的 b 被定义为左边一条垂直长线,右下方连接一个闭合的环。通过这种拆解特征的方式,机器获得了识别全字体的能力。

之后还需要将特征匹配到对应的文字上,Kurzweil 的团队编写了一套复杂的规则引擎,系统会将提取到的特征,输入到规则库中进行概率评分和逻辑匹配,当这些特征组合满足了字母的规则条件时,系统就会输出对应的 ASCII 码字符。

同时,为了解决部分字体特征几乎一致的问题,例如大写 O 与数字 0,小写 l 与数字 1 ,Kurzweil 的系统还引入了基于词汇和语言规则的后处理机制,系统会根据上下文来做逻辑判断:如果这个字符出现在单词 App_e 中,那它一定是字母 l;如果它出现在公式 199_ 中,那它大概率是数字。

接着,Ray Kurzweil 又发明了 CCD 平板扫描仪和 TTS 文本转语音合成器,并将它们与 OCR 结合,创建了著名的库兹韦尔阅读机。

之后,HP 实验室在 1985 年开始开发 Tesseract,并于 2005 年开源,于 2006 年交由 Google 接手维护。Tesseract 的发展历经两个主要阶段,经典架构,对应版本 1.0-3.x,以及现代架构,对应版本 4.0 及以后。

由于 4.0 及之后的版本引入了深度学习,超出了这个时代的范畴,所以我们只讨论经典架构。

Tesseract 的识别过程,就像一个经验丰富的阅卷老师批改手写试卷:

首先,它把图片转成黑白两色,把每一团黑色墨迹抠出来,每一团通常对应一个字符。然后,它把这些墨迹团按位置排成一行行文字,再根据间距判断哪里是字母之间的缝隙、哪里是单词之间的空格。

最精妙的是它处理粘连字和断裂字的方式:如果两个字母粘在一起(比如 rn 看起来像 m),它会尝试从最细的地方掰开;如果一个字母断成了两半,它会尝试把碎片拼回去。

而 Tesseract 准确率极高的秘诀,在于它的两遍阅读法:第一遍先认出那些清晰好认的字,然后从中学会这篇文档的字体风格;第二遍再用学到的字体知识,回头去辨认那些第一遍没认出来的模糊字。就像人类阅读时,先根据清晰的字迹摸清作者的笔迹,然后再去猜那些潦草的字。

最后,它还会用内置的词典和语言规则进行纠错(比如 q 后面通常是 u),输出最终结果。

然而,以上的方法都有一个致命弱点:严重依赖几何学、拓扑学和穷举规则。

几乎所有以上的 OCR ,都需要撰写特定的规则,或者识别特定的特征,然而,这在多语言时简直就是灾难,因为对于英文来讲,对于 26 个字母,以及少量标点符号进行特征提取和规则编写是可行的,然而对于中文、日文、阿拉伯文等语言来说,几乎是不现实的,因为它们拥有复杂的字符结构,庞大的字符数量,还会根据位置变形,并且以上的方法还严重依赖输入,如果出现字符不清晰、变形等问题,这些规则和特征就会失效,导致识别率急剧下降。

这个问题困扰了 OCR 社区几十年——直到深度学习的到来。

02 OCR 1.0 时代:深度学习登场(2012–2017)

2012 年,一个名为 AlexNet 的深度学习模型横空出世,在全球最大的图像识别竞赛中一战成名,把错误率从 26% 一口气降到了 15%。它向全世界证明了一件事:只要喂给机器足够多的数据,让它自己去悟出规律,效果远比人类手写规则要好得多。从此之后,计算机视觉领域全面转向了深度学习,各大科技巨头(谷歌、微软、百度等)纷纷入场,AI 军备竞赛正式开始。

2015 年,Shi 等人发表了 CRNN,这篇论文几乎重新定义了文字识别的方式。

它把三种神经网络巧妙地串在了一起,就像一条高效的流水线:

CNN(卷积神经网络)——充当眼睛,负责从图片中提取文字的视觉特征,比如笔画的形状和纹理。

BiLSTM(双向长短期记忆网络)——充当大脑,从左到右、再从右到左把整行文字读两遍,理解字符之间的前后关系。就像人类读一句话时,会结合前后文来判断中间那个模糊的字是什么。

CTC(连接时序分类)——充当翻译官,解决了一个棘手问题:图片里每个字的宽度不一样,模型输出的信号长短不一、充满重复。CTC 能自动把这些杂乱信号整理成最终的文字(比如把 H-ee-l-ll--o 自动整理成 Hello)。这样一来,模型不需要知道每个字符的精确位置,只需要知道整行文字是什么。

直到今天,你在市面上看到的部分科技公司的文字识别接口,或者最出名的开源神器(如 PaddleOCR),它们底层用来识别文字的核心模型,依然是 CRNN 的架构或其变体。

这个时代形成了经典的两阶段 pipeline:检测 → 识别。先用检测模型找到文本区域,裁剪出来,再送入识别模型。这套范式在工业界广泛落地,成为了各种扫描 App、票据识别、车牌识别的基础架构。

但两阶段 pipeline 有自己的问题:

  • 检测和识别是两个独立的环节,第一步出了错,第二步只能跟着错——就像流水线上前一道工序切歪了,后面也没法纠正。
  • 遇到弯曲、密集或被遮挡的文字,只会用方框去框选,经常把无关内容一起框进来。
  • 对于复杂文档(表格、公式、图文混排),光是找到文字在哪远远不够,还需要理解整个页面的布局结构。

更深层的问题是:这套架构处理长文本时会健忘。就像一个人读一段很长的话,读到后面就忘了前面说什么了。

随着 2017 年 Transformer 架构的诞生,一个新的架构正在酝酿。

03 OCR 1.5 时代:Transformer 驱动的精细化(2017–2023)

2017 年,Vaswani 等人发表 Attention Is All You Need,Transformer 架构席卷 NLP。但它对 OCR 的影响并非一蹴而就——从渗透到主导,经历了大约三年。

Transformer 对 OCR 的改造发生在两个维度:检测更精细,识别更强大。除此之外,这个时代还诞生了一个全新的领域:文档理解(Document AI)。

检测端的进化:告别死板的矩形,走向像素级多边形

在 1.0 时代,检测模型大多沿用目标检测的思路,画个矩形框把文字框出来。但现实中,印章上的文字是环形的,商品包装上的文字是扭曲的。如果用矩形框,就会把大量无关背景甚至其他文字框进去。

为了解决这个问题,检测模型转向了抠图路线——不再画框,而是像 PS 抠图一样,把文字区域的像素精确地扣出来。在这个方向上,2020 年由华中科技大学和旷视联合提出的 DBNet 是一座难以逾越的高峰,它几乎统治了工业界的检测端(也是 PaddleOCR v2/v3 的核心检测算法)。

它的核心突破可以用一个比喻来理解:

以前的模型就像一个工人用固定标准来判断这里是不是文字——比如亮度低于 50% 就算文字。但不同图片的光线、颜色差异很大,一刀切的标准经常出错。DBNet 的天才之处在于:它让 AI 自己学会因地制宜——对于明亮的区域用一个标准,对于阴暗的角落用另一个标准,对每一小块区域都动态调整判断尺度。

结果就是:不管文字怎么弯曲、怎么密集排列,DBNet 都能极其快速、精准地贴着字画出精确轮廓,彻底解决了复杂排版下的检测难题。

识别端的进化:扔掉 CNN 和 RNN,全盘 Transformer 化

既然检测变准了,识别又该怎么突破读长句会健忘的瓶颈?答案是直接换一个更聪明的大脑。

2021 年,微软提出了 TrOCR,这篇论文就像是一场革命,彻底掀翻了 CRNN 统治多年的桌子。它宣告:以前那套三件套(CNN + RNN + CTC)全都不要了!

TrOCR 的架构可以理解为两个协作的角色:

看图的人(视觉编码器):它把文本行图片切成一个个小方块(比如 16×16 像素),然后同时审视所有方块之间的关系——不像以前只能看到局部,现在一眼就能纵览全局。

写字的人(文本解码器):这部分本质上就是一个语言模型,类似于 ChatGPT 的前身。它接收看图的人传来的视觉信息,然后像写作文一样,一个字一个字地写出识别结果。

关键优势:传统模型看不清字母时容易乱猜(比如把 clear 识别成 dear),因为它几乎不懂语言。而 TrOCR 自带强大的语言知识,能根据上下文推断出模糊的单词——就像人类即使看到一个潦草的字,也能根据整句话的意思猜出来。而且超长文本的健忘问题也彻底解决了。

从认字到懂文档:多模态的觉醒

1.0 时代的结尾我们提到,只是把字抠出来是不够的,我们需要理解发票、简历、报表上的表格和键值对(Key-Value)。

2020 年,微软亚洲研究院发表了 LayoutLM,正式拉开了文档理解的序幕。

它的创新可以这样理解:传统的 AI 读文字时,就像蒙着眼睛听人朗读——它只知道姓名和张三这两个词前后挨着,却不知道姓名印在左边、张三写在右边,两者其实是一对标签-内容的关系。

LayoutLM 做的事情,就是把 AI 的眼罩摘掉。它不仅让模型知道每个词是什么,还让模型知道每个词在页面上的哪个位置,以及这个词周围长什么样。

于是,模型突然开眼看世界了。它发现,发票上左边加粗的字通常是表头,右边对齐的字通常是内容。有了 LayoutLM,OCR 不再只是吐出一堆文字,而是能直接把一张复杂的报表转化为结构化数据。

但 1.5 时代依然不够完美:

尽管 DBNet 解决了弯曲文本,TrOCR 解决了长文本识别,LayoutLM 解决了排版理解,但这依然是一个拼图时代。

为了实现文档理解,你得先跑一遍 DBNet 做检测,切图后再跑一遍 TrOCR 做识别,最后把文字和坐标喂给 LayoutLM 去做结构化提取。整个系统无比臃肿,不仅推理慢、维护成本极高,而且模块之间依然存在各自为战、误差累积的顽疾。

直到 2023 年底,随着 GPT-4V 的震撼登场和多模态大模型的爆发,OCR 领域才终于意识到:其实,我们甚至不需要检测和识别这两个概念。

一场名为 像素即文本(Pixels-to-Text)的终极革命——OCR 2.0 大模型时代,正式降临。

04 OCR 2.0 时代:大语言模型的降维打击与端到端(2023–至今)

2023 年,随着 GPT-4V 的震撼发布,整个 AI 社区猛然惊醒:既然多模态大语言模型(MLLM)已经拥有了不可思议的看图说话能力,那我们为什么还要辛辛苦苦地去切图、认字、排版呢?

OCR 2.0 与 1.5 时代的本质区别,在于流水线(Pipeline)的彻底消亡。

在 1.5 时代,OCR 是一套极其臃肿的接力赛。先用一个模型框出文字位置,再用另一个模型认字,最后再用第三个模型理解排版。这不仅速度慢,更要命的是多米诺骨牌效应——只要第一步框歪了一点,后面每一步都会跟着错。

在 2.0 时代,OCR 变成了一个全能选手。不需要检测框,不需要独立识别,不需要后处理。给模型一张图片,它直接输出排版完美的 Markdown、带公式的 LaTeX 或是结构化的 JSON。一个模型,一步到位,解决所有问题。

在这个过程中,诞生了一个极具代表性、甚至可以说是集大成者的经典技术架构:GOT-OCR 2.0(General OCR Theory,通用 OCR 理论)。

它在 2024 年横空出世,用极其优雅的架构和不到 1B(十亿)的参数量,向世界展示了 OCR 2.0 的终极形态。如果你想弄懂 OCR 2.0 是怎么运作的,看透 GOT-OCR 2.0 就够了。

经典技术拆解:GOT-OCR 2.0 的大一统魔法

GOT-OCR 2.0 能够做到看一眼图,直接输出排版代码,是因为它在底层架构上完成了三大革命性的创新:

视觉编码器:从全局缩放到动态分辨率(Dynamic Resolution)

以前的 AI 看图有一个致命弱点:它只能看固定大小的小照片(比如 224×224 像素)。如果你给它一张 4K 高清报表,它会把图片硬缩成小图,结果文字全糊了。

GOT-OCR 引入了动态分辨率机制——就像人类看大报纸一样:先扫一眼全局了解大致布局,再凑近看局部细节。它把大图切成一块块小图分别看清,最后在脑中拼成完整画面。这样一来,无论是一张小名片,还是一张超大工程图纸,它都能看清每一个字。

文本解码器:大语言模型(LLM)的降维打击

1.5 时代的 TrOCR 虽然也用了 Transformer,但它的 Decoder 只是一个很弱的语言模型,只能勉强拼凑单词。

而 GOT-OCR 直接把真正的大语言模型(如 Qwen-0.5B 等 LLM)拿来做大脑。这意味着什么?这意味着模型不仅是在认字,更是在理解世界。当它看到图片里有一个被划掉的错别字时,传统的 OCR 会傻傻地把错别字也识别出来;而有了大模型的常识加持,它知道那是一个无效信息,会自动忽略。遇到极其模糊的医学处方,大模型甚至能根据上下文的药理逻辑,准确推理出那个看不清的药名。

交互式范式:万物皆可 Prompt

1.0 和 1.5 时代,OCR 被认为是一种单向任务:输入图片,机器吐出所有文字,不管你需不需要。

GOT-OCR 2.0 将 OCR 变成了对话式的交互。你可以向它下达各种极度精细的指令(Prompt):

  • 识别图片右上角红色框里的文字。(区域 OCR)
  • 将这张满是数学公式和图表的论文截图,直接转成 LaTeX 源码。(格式化 OCR)
  • 这张五线谱上的音符是什么?(超越文本的泛 OCR)

甚至连分子式、几何图形、乐谱,在它的眼里都只是某种语言。只要大模型见过这种语言的规律,它就能完美地将视觉像素翻译成对应的代码。

总结:OCR 的终结与新生

从 1.0 时代用 CNN 逐个抠字,到 1.5 时代用 Transformer 理解版面,再到如今 2.0 时代用 MLLM 统御一切,OCR 走过了一条无比漫长但充满魅力的演进之路。

OCR 2.0 的出现,在某种意义上宣告了传统 OCR 工程师这个岗位的消亡。 因为文字识别不再是一个独立的计算机视觉子领域,它已经被彻底消解、并入到了通用人工智能(AGI)的多模态感知能力之中。

未来的 AI,不再需要一个专门的器官去阅读文字,因为当它睁开眼睛看向这个世界的像素时,它就已经读懂了一切。

05 站在 OCR 2.0,回头看

把四个时代放在一起,你会发现一条清晰的主线:从人定义规则到模型学习规则,从分步解决到端到端解决,从识别文字到理解文档。

OCR 0.5 时代:采用“模板比对+人工规则”,能将扫描图片转为纯文字。最大瓶颈是遇到字符粘连和切分不准时,识别率极低。

OCR 1.0 时代:引入深度学习(CNN+RNN),可识别单行文字图片。最大瓶颈是“检测”和“识别”各管各的,步骤较为割裂。

OCR 1.5 时代:采用Transformer架构,支持整页文档转文字。最大瓶颈是依然需要复杂的多步流水线,依赖多个模型拼接。

OCR 2.0 时代:基于多模态大模型,能将任意图片直接转为结构化文本。最大瓶颈是目前推理速度慢、算力贵、成本高。

每一次转换,都不是简单的用新技术替换旧技术,而是重新定义了问题本身:

OCR 0.5 → 1.0:从怎么把字一个个切开认变成怎么让机器自己学会认整行字

OCR 1.0 → 1.5:从怎么让机器认得更准变成怎么让机器带着知识储备来认字

OCR 1.5 → 2.0:从怎么识别文字变成怎么理解整份文档

OCR 2.0 的未解问题

当然,OCR 2.0 并不是终点,它面临的挑战同样巨大:

分辨率困境:一页 A4 文档扫描后的图片非常大,让 AI 看这么大的图需要消耗巨大的算力——就像让一个人用放大镜逐像素地审视一整面墙。

幻觉问题:大模型有时会脑补图片中根本不存在的文字——这在金融、法律、医疗等对准确性要求极高的场景中,是不可接受的。

速度问题:大模型是一个字一个字地写出结果的,面对一页几千字的文档,速度远不如传统方案。

可控性:传统方案就像手动挡汽车,每个环节都能精确调节;大模型更像自动驾驶系统,整体很强,但出了问题很难定位和微调。

所以在未来 2-3 年内,OCR 2.0 和 OCR 1.5 会长期共存。需要极高精度和极快速度的场景(如金融票据、身份证、车牌识别),传统流水线方案仍然是更优选择。而面对复杂文档理解、多语言、灵活排版输出的场景,大模型方案将逐步成为主流。

最终,OCR 的边界正在消融。当一个模型既能识别文字、又能理解表格、还能解析公式和图表的时候,OCR 这个词本身可能已经不够用了。

06 从 OCR 到 PDF 文档解析:真正的战场

如果 OCR 是识别文字,那文档解析就是理解文档。而在所有文档格式中,PDF 是最难的那个。

为什么 PDF 是文档解析的终极 Boss?

PDF 的设计哲学是所见即所得——它忠实地保存了文档的视觉外观,但彻底丢弃了语义结构。一个 PDF 文件内部是什么样的?

  • 文字不是按照人类阅读顺序存储的,而是按照渲染顺序排列的。一个看起来连续的段落,在底层可能是几十个分散的文本块。
  • 表格没有表格标记。那些整齐的行列,在 PDF 里只是一堆精确定位的文字和线条。
  • 公式更不用说了。LaTeX 渲染出来的公式,在 PDF 里变成了一堆带有精确坐标的特殊字符。
  • 图片可能嵌入在页面的任何位置,与文字混排。
  • 多栏排版、脚注、页眉页脚、跨页表格——每一个都是一个独立的解析难题。

MinerU:传统 pipeline 的集大成者

在 2024–2025 年的 PDF 解析领域,MinerU(上海人工智能实验室,开源于 2024)是传统路线的代表作。它的思路就像一个分工明确的团队:

  • 一个模型专门负责排版分析——识别出哪里是文字、哪里是图片、哪里是表格
  • 一个模型专门负责文字识别
  • 一个模型专门负责表格识别
  • 一个模型专门负责公式识别

最后由一套规则把所有结果拼接整合,生成结构化输出。

MinerU 在学术论文、技术报告等标准文档上表现优异。但它的本质仍然是一套多个专家协作的流水线——每个专家只管自己那一块,通过复杂的规则拼接在一起。

这意味着:

  • 任何一个专家出了问题,整条流水线的结果都会变差——就像团队里有人掉链子,整体产出就会下降。
  • 遇到非标准文档(工程图纸、扫描件、手写笔记),各个模型容易水土不服,效果急剧变差。
  • 维护成本高——每个模型都要单独训练、单独升级、单独部署。

07 纯视觉路线:一个模型解决所有问题

2025 年,一个激进的想法开始在工业界获得真正的牵引力:为什么我们不直接把 PDF 页面当作图像,让一个视觉语言模型来看这一页,然后直接输出结构化的文本?

这就是纯视觉路线(Pure Vision Approach)。

PDF → 页面渲染为图像 → VLM(视觉语言模型)→ 结构化 Markdown/JSON

整个流程被压缩为一步。不需要版面分析、不需要区域分类、不需要独立的文字识别器、表格识别器、公式识别器。一个足够强大的视觉语言模型,直接看着页面图片,输出你想要的任何格式化文本。

这听起来过于简化,但 2025–2026 年的实践证明,对于越来越多的文档类型,纯视觉路线已经达到甚至超过了传统 pipeline 的质量,同时大幅降低了系统复杂度。

值得注意的是,连 MinerU 自身也在拥抱这个趋势。在最新版本中,MinerU 的 API 已经支持 model_version: vlm 参数——这意味着它的后端正在从传统的多模型 pipeline 向基于视觉语言模型的端到端方案迁移。

Knowhere:为 AI Agent 构建的文档记忆基础设施

作为这个时代的亲历者,我们(Knowhere 团队)在 2026 年 5 月将 Knowhere 核心技术栈全面开源(采用 Apache 2.0 协议)。我们始终相信,AI Agent 的记忆层不应该是一个封闭的黑盒,而应当作为整个 AI 开发者生态共享的开源基础设施。

全栈开源与私有化部署

目前,Knowhere 开源项目已经在 GitHub 上完整发布,涵盖了从数据接入、层级解析到 Agent 检索的全套技术栈:

核心框架(Knowhere Core):(https://github.com/Ontos-AI/knowhere) —— 提供完整的文档解析路由、树形层级重构、多模态对齐以及 Cross-document Graph 记忆构建算法。

一键私有化部署(Knowhere Self-Hosted):(https://github.com/Ontos-AI/knowhere-self-hosted) —— 支持开发者在本地或企业内网中,通过 Docker 快速一键拉起整套端到端服务,确保敏感数据不出内网。

可视化控制台(Knowhere Dashboard):(https://github.com/Ontos-AI/knowhere-dashboard) —— 方便开发者管理文档知识库、监控解析任务并进行可视化的检索调试。

通过彻底开源,Knowhere 赋予了企业与开发者完全掌控自身“文档记忆数据”的能力,告别了云端服务商的商业绑定与隐私顾虑。

我们是谁?我们在做什么?

Knowhere 是连接脏文档(复杂、非结构化的真实世界文档)与 AI Agent 之间的记忆层。

很多开发者在构建 AI 应用时,处理文档的方式非常粗暴——就像把一本书随机撕成一页页碎片,然后让 AI 通过关键词在碎片堆里翻找答案。这种方式会彻底打碎文档原有的逻辑结构,导致 AI 拿到的永远是断章取义的信息片段。

我们不认为这是通向文档智能的正确路径。正如我们在主页上所说:我们不是在打造下一个 MinerU 解析器,我们是在构建能被 Agent 高效消费的文档记忆基础设施。

我们的工作分为两个核心步骤:第一步,把文档解析成 AI 能理解的记忆;第二步,让 AI 像研究员一样智能地检索这些记忆。

我们是如何实现的?

第一步:解析与记忆建构 (Parse and Build Memory)

我们建立了一个智能的分诊台——无论你扔过来的是 PDF、Word、图片还是 Markdown,系统都会自动把它分配给最合适的解析器来处理。

但这仅仅是基础。我们最核心的技术是独创的树形算法。打个比方:传统方案把一本书撕成碎片,而我们是给这本书建一个完整的目录树——保留章、节、段的层级关系,让每一块内容都知道自己属于哪一章、哪一节。同时,系统会自动识别文档中的图片和表格,用 AI 为它们生成摘要,最终把整份文档变成一张 AI 随时可以查阅的知识地图。

第二步:Agent 式检索 (Agentic Retrieval)

这是我们与传统方案最大的区别。在 Knowhere 的架构下,AI 不是在碎片堆里盲目翻找,而是像一个人类研究员查阅资料一样,有章法地阅读文档:

1. 发现:先通过关键词和语义理解,快速定位到最相关的文档和章节——就像先翻目录找到对的章节。

2. 导航:沿着文档的目录树和知识关系网,层层深入到最核心的段落——就像顺着目录一级级点进去,找到最关键的那一页。

3. 引证:每一次回答都能精准指出这个信息来自哪份文档的第几章第几节,保证答案有据可查。

为什么我们能做得更好?

构建在 Knowhere 记忆层之上的 AI,在真实业务场景中展现出了远超传统方案的实力:

  • 更准:首次回答的准确率提升了 36%,找到正确信息的能力提升了 11%。
  • 更可靠:经过反馈优化后,业务准确率可达 79%,而直接把原始文档扔给大模型的方案往往在 53% 就遇到了天花板。
  • 更省钱:因为 AI 能在知识地图中精准导航,避免了阅读大量无关内容,大幅减少了计算消耗和等待时间。

此外,Knowhere 不挑模型——不管是 DeepSeek、Qwen-VL,还是 OpenAI、智谱等,都可以无缝接入。

落地 PageMemory V2:首创颗粒度自适应路由

为了让 Agent 更完美地平衡“完整理解”与“局部检索”的效率,Knowhere 目前正全面落地 PageMemory V2 方案。该方案的核心在于引入了 DOC_PROFILE 颗粒度路由器,作为大脑根据文档的分类(如科技论文、财务报表等)、TOC 结构以及复杂页面比例,自适应输出最契合的记忆颗粒度判决(Verdict):

whole_doc 整体记忆:对于少页、无 TOC 的简单文档进行整篇全量记忆,不作拆解,避免破坏 Agent 对宏观上下文的理解。

page 逐页记忆:对于复杂文档进行逐页持久化与深度记忆,结合全页图像、图像摘要与原始文本构建关联。

shard_page 分片记忆:针对超大文档,先分片再进行逐页记忆,合理平摊算力。

通过这一首创的“颗粒度自适应”机制,配合可插拔的 Profiler 接口(开源默认支持规则与通用 VLM,商业版支持更高精度和性价比的专有微调模型),Knowhere 在多模态文档记忆的消费效率和成本控制上实现了关键突破。


站在 2026 年的今天,我们坚信:非结构化数据不应再是 AI 系统的障碍,而应成为它们生生不息的记忆。从识别文字到构建可导航的文档记忆,这就是我们 Knowhere 正在践行的未来。

站在 2026 年,再看这条线,从 1929 年 Gustav Tauschek 的机械模板匹配装置,到 2026 年 VLM 直接看文档生成结构化知识——将近一个世纪的 OCR 进化史,最终指向了一个朴素但深刻的结论:

我们从来不需要识别文字,我们需要的一直是理解文档。

随着多模态大模型推动 OCR 融入文档智能范畴,一条从文档解析延伸至 Agent 可消费知识基础设施的演变路径也愈发清晰,共同指向了那个宏大的愿景——在 Agent 时代,非结构化数据不再是 AI 系统的障碍,而是成为它的记忆。

也许,这才是 OCR 一个世纪进化的真正终点——不是让机器读文字,而是让机器真正记住文档里的知识。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐