注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】

GPT多模态大模型与AI Agent智能体书籍本章配套视频课程【陈敬雷】

GPT多模态大模型与AI Agent智能体系列十三

拆解多模态大模型金字塔：OpenAI 的 CLIP 凭什么成为基础模型里的「破圈者」？

7.1.2 CLIP
CLIP（Contrastive Language-Image Pre-training）是由OpenAI开发的开创性多模态模型，它通过学习文本和图像之间的对比关系，实现对两者跨模态理解的突破。CLIP模型的核心思想是将文本和图像嵌入到一个共同的语义空间中，使得相关的文本描述和图像内容在这个空间中的表示彼此靠近，而不相关的则远离。这种设计使得CLIP模型能够在各种任务上表现出色，如图像分类、图像检索、文本分类等。
CLIP的训练流程分为三个阶段：首先，通过对比学习对图像-文本对进行预训练，旨在强化模型识别相关图文的能力；其次，基于预训练的模型，创建分类器以从文本标签中提取特征；最后，利用这些特征进行零样本预测，即在没有额外训练的情况下对新任务进行推断。CLIP的训练数据来源于WIT（WebImageText）数据集，这是一个包含4亿个图像和文本对的庞大集合，涵盖了丰富的自然语言描述，而非仅限于简单的类别标签。这种数据的多样性为模型提供了更广泛的语言和视觉语境，增强了其泛化能力。在技术架构上，CLIP采用双流网络，分别处理图像和文本，再将两者映射至同一多模态空间进行对比。具体而言，图像和文本经过各自的编码器转换为高维向量，之后通过计算向量间的相似度，优化模型以最大化匹配对的相似度，同时最小化非匹配对的相似度。
CLIP的应用场景广泛，尤其在跨模态检索领域展现出巨大潜力。用户可通过输入文本查询图像，或反向操作，实现精准的内容匹配。其工作流程分为图片特征提取与入库，以及基于输入文本或图像的特征检索。通过计算相似度并排序，系统能返回与查询最匹配的结果。
此外，CLIP模型还能感知图像描述的细微差异，如对同类型物体的不同描述，体现出对语言细节的敏感度。这表明CLIP不仅能够识别物体，还能理解描述其特性的丰富语言表达，为视觉理解和自然语言处理的融合开辟了新路径。
在大规模数据检索中，CLIP利用向量数据库和高效的索引策略，如倒排索引、近似最近邻搜索、向量量化等，实现快速、准确的检索。这些技术在保持检索精度的同时，大幅提升了处理大规模数据集的速度，使得CLIP在实际应用中更加高效和实用。CLIP安装有两种方式，一种是下载源码后安装，通过git clone https://github.com/openai/CLIP.git命令下载源码到本地，切换到CLIP根目录下，通过python setup.py install安装。另一种通过pip install openai-clip命令安装即可。接下来使用CLIP模型进行文本图像相似度检索，代码如下：

# 第6章/Clip.py
# 导入必要的库
import torch
import clip
from PIL import Image
# 检测是否有可用的CUDA设备，如果有则使用GPU，否则使用CPU
device = "cuda" if torch.cuda.is_available() else "cpu"
# 加载预训练的CLIP模型，这里使用的是"ViT-B/32"版本的模型
model, preprocess = clip.load("ViT-B/32", device=device)
# 打开图片文件并进行预处理，然后将其转换为模型所需的张量格式，并添加批次维度
image = preprocess(Image.open("CLIP.png")).unsqueeze(0).to(device)
# 将文本字符串列表分词，转换为模型可以理解的格式，并移动到指定的设备上
# 注意：这里的文本需要替换为中文
text = clip.tokenize(["一张图表", "一只狗", "一只猫"]).to(device)
# 在不需要梯度计算的上下文中进行推理，以减少内存消耗
with torch.no_grad():
    # 使用模型分别对图片和文本进行编码
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    # 使用模型计算图片和文本之间的相似度得分
    logits_per_image, logits_per_text = model(image, text)
    # 将图片的相似度得分转换为概率分布
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()
# 打印出每张图片对应每个文本标签的概率,预期输出：[[0.9927926  0.00421069 0.00299576]]
print("标签概率：", probs)

在这段代码中，clip.load(“ViT-B/32”, device=device)这一行表明正在加载一个预训练的CLIP模型，其中使用了Vision Transformer（ViT）作为其图像编码器部分。这意味着CLIP模型在这个例子中利用了ViT的能力来提取图像的特征表示。
ViT是一种基于Transformer架构的图像分类模型，由Google团队在2020年提出。该模型将传统的卷积神经网络（CNN）替换为纯Transformer结构，通过将输入图像分割成多个patch并将其作为序列数据处理，从而实现对图像的分类和识别。ViT的核心流程包括以下几个步骤：
（1）图像分块处理：首先将输入图像裁切成固定大小的Patch，例如32x32像素的块。
（2）图像块嵌入：将每个Patch转换为一维向量，并添加位置编码以保留空间信息。
（3）Transformer编码器：将这些向量输入到标准的Transformer编码器中进行处理，利用自注意力机制学习不同Patch之间的关系。
（4）任务特定头：最后，通过一个任务特定的头来完成最终的分类或其他视觉任务。

在CLIP模型中，使用ViT作为图像编码器的原因是ViT在图像处理方面的强大能力和高效性。ViT通过将图像分割成小块Patch并应用Transformer架构，能够有效地捕捉图像中的长距离依赖关系和复杂模式，这使得它在图像识别和理解任务中表现出色。CLIP模型是一个多模态模型，它结合了图像编码器和文本编码器来学习图像和文本之间的关联。在这种配置中，ViT作为图像编码器，负责将图像数据转换为一系列特征向量，这些特征向量随后可以与文本编码器产生的文本特征进行比较，以找出它们之间的相似度。
7.1.3 BLIP
BLIP（Bootstrapping Language-Image Pretraining for Unified Vision-Language Understanding and Generation）是一个…

更多技术内容

更多技术内容可参见
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】书籍。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。

总结

此文章有对应的配套新书教材和视频：

【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。

【配套视频】

GPT多模态大模型与AI Agent智能体书籍本章配套视频 - 第1章 大模型技术原理【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏
揭秘 DeepSeek、Sora、GPT-4 等多模态大模型的技术底层逻辑，详解 Transformer 架构如何突破传统神经网络局限，实现长距离依赖捕捉与跨模态信息融合。
对比编码预训练（BERT）、解码预训练（GPT 系列）及编解码架构（BART、T5）的技术差异，掌握大模型从 “理解” 到 “生成” 的核心逻辑。
实战驱动，掌握大模型开发全流程
提示学习与指令微调：通过 Zero-shot、Few-shot 等案例，演示如何用提示词激活大模型潜能，结合 LoRA 轻量化微调技术，实现广告生成、文本摘要等场景落地（附 ChatGLM3-6B 微调实战代码）。
人类反馈强化学习（RLHF）：拆解 PPO 算法原理，通过智谱 AI 等案例，掌握如何用人类偏好优化模型输出，提升对话系统的安全性与实用性。
智能涌现与 AGI 前瞻，抢占技术高地
解析大模型 “智能涌现” 现象（如上下文学习、思维链推理），理解为何参数规模突破阈值后，模型能实现从 “量变” 到 “质变” 的能力跃升。
前瞻通用人工智能（AGI）发展趋势，探讨多模态模型（如 Sora）如何推动 AI 从 “单一任务” 向 “类人智能” 进化，提前布局未来技术赛道。

上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄