丰色 明敏 发自 凹非寺
量子位 | 公众号 QbitAI

啥？AI都能自己看电影大片了？

贾佳亚团队最新研究成果，让大模型直接学会了处理超长视频。

丢给它一部科幻大片《星际穿越》（片长2小时49分钟）：

它“看”完之后，不仅能结合电影情节和人物轻松对电影进行点评：

还能很精准地回答出剧中所涉的细节：

例如：虫洞的作用和创造者是谁？

答：未来的智慧生物放置在土星附近，用于帮助人类进行远距离星际穿越。

男主库珀是如何将黑洞中的信息传递给女儿墨菲？

答：通过手表以摩斯密码的方式传递数据。

啊这，感觉电影博主的饭碗也要被AI抢走了。

这就是最新多模态大模型LLaMA-VID，它支持单图、短视频和长视频三种输入。

对比来看，包括GPT-4V等在内的同类模型基本只能处理图像。

而背后原理更有看头。

据介绍，LLaMA-VID只通过一个非常简单的办法就达成了如上能力，那就是：

把表示每一帧图像的token数量，压缩到仅有2个。

具体效果如何以及如何实现？一起来看。

人物理解分析、电影细节都OK

对于电影来说，除了精准回答所涉细节，LLaMA-VID也能对角色进行十分准确的理解和分析。

还是《星际穿越》，我们让它看完后分析米勒星球上相对地球时间的快慢及原因。

结果完全正确：

LLaMA-VID表示是因为米勒星球在黑洞附近，导致1小时相当于地球7年。

再丢给它时长近俩小时的《阿甘正传》。

对于“珍妮对于阿甘有何意义？”这一问题，LLaMA-VID的回答是：

孩童时期的朋友，后来成为阿甘的妻子，是阿甘生活和心灵的慰藉。

对于阿甘在战争及退伍后的事件也能进行分析，且回答也很到位：

丹中尉责怪阿甘救了自己，因为这让他无法战死沙场。

除了看电影，成为一个无所不知的的“电影搭子”，它也能很好地理解宣传片的意图，回答一些开放问题。

比如给它一段最近很火的GTA6预告片。

问它“这个游戏哪里最吸引你？”，它“看”完后给出的想法是：
一是游戏场景和设置非常多（从赛车、特技驾驶到射击等），二是视觉效果比较惊艳。

哦对了，LLaMA-VID还能根据游戏中的场景和特征，推测出预告片是Rockstar游戏公司的推广：

以及认出游戏的背景城市为迈阿密（根据夜生活、海滩等信息，以及在作者提示游戏设置在佛罗里达之后）。

最后，在宣传片、时长高达2-3小时的电影这些视频材料之外，我们也来看看LLaMA-VID对最基础的图片信息的理解能力。

呐，准确识别出这是一块布料，上面有个洞：

让它扮演“福尔摩斯”也不在话下。面对这样一张房间内景照片：

它可以从门上挂了很多外套分析出房间主人可能生活繁忙/经常外出。

看得出来，LLaMA-VID对视频的准确解读正是建立在这样的图片水准之上的，但最关键的点还是它如何完成如此长时间的视频处理。

几行代码实现单帧2 token表示

LLaMA-VID的关键创新是将每帧画面的token数量压缩到很低，从而实现可处理超长视频。

很多传统多模态大模型对于单张图片编码的token数量过多，导致了视频时间加长后，所需token数量暴增，模型难以承受。

为此研究团队重新设计了图像的编码方式，采用上下文编码（Context Token）和图像内容编码（Content Token）来对视频中的单帧进行编码。

从而实现了将每一帧用2个token表示。

具体来看LLaMA-VID的框架。

只包含3个部分：

• 采用编解码器产生视觉嵌入和文本引导特征。

• 根据特定token生成策略转换上下文token和图像内容token。

• 指令调优进一步优化。

根据指令，LLaMA-VID选取单个图像或视频帧作为输入，然后从大语言模型上生成回答。

这个过程从一个可视编码器开始，该编码器将输入帧转换为可视帧嵌入。

然后文本解码器根据用户输入和图像编码器提取的特征，来生成与输入指令相关的跨模态索引（Text Query）。

然后利用注意力机制（Context Attention），将视觉嵌入中和文本相关的视觉线索聚合起来，也就是特征采样和组合，从而生成高质量的指令相关特征。

为了提高效率，模型将可视化嵌入样本压缩到不同token大小，甚至是一个token。

其中，上下文token根据用户输入的问题生成，尽可能保留和用户问题相关的视觉特征。

图像内容token则直接根据用户指令对图像特征进行池化采样，更关注图像本身的内容信息，对上下文token未关注到的部分进行补充。

文本引导上下文token和图像token来一起表示每一帧。

最后，大语言模型将用户指令和所有视觉token作为输入，生成回答。

而且这种token的生成方法很简单，仅需几行代码。

实验结果方面，LLaMA-VID在多个视频问答和推理榜单上实现SOTA。

仅需加入1个上下文token拓展，LLaMA-VID在多个图片问答指标上也能获得显著提升。

在16个视频、图片理解及推理数据集上，LLaMA-VID实现了很好效果。

在GitHub上，团队提供了不同阶段的所有微调模型，以及第一阶段的预训练权重。

具体训练包括3个过程：特征对齐、指令微调、长视频微调（相应步骤可参考GitHub）。

此外，LLaMA-VID还收集了400部电影并生成9K条长视频问答语料，包含电影影评、人物成长及情节推理等。

结合之前贾佳亚团队所发布的长文本数据集LongAlpaca-12k（9k条长文本问答语料对、3k短文本问答语料对）, 可轻松将现有多模态模型拓展来支持长视频输入。

值得一提的是，今年8月开始贾佳亚团队就发布了主攻推理分割的LISA多模态大模型。

10月还发布了长文本开源大语言模型LongAlpaca（70亿参数）和超长文本扩展方法LongLoRA。

LongLoRA只需两行代码便可将7B模型的文本长度拓展到100k tokens，70B模型的文本长度拓展到32k tokens。

最后，团队也提供了demo地址，可自己上传视频和LLaMA-VID对话（部署在单块3090，需要的小伙伴可以参考code用更大的显存部署，直接和整个电影对话）。

看来，以后看不懂诺兰电影，可以请教AI试试~

论文地址：
https://arxiv.org/abs/2311.17043

GitHub地址：
https://github.com/dvlab-research/LLaMA-VID

demo地址：
http://103.170.5.190:7864/

下载1

在公众号「3D视觉工坊」后台，回复「3d001」,即可获取工业3D视觉（结构光、缺陷检测、三维点云）、SLAM（视觉/激光SLAM）、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。

下载2

在公众号「3D视觉工坊」后台，回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。

下载3

在公众号「3D视觉工坊」后台，回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3，深度估计、模型部署、3D目标检测等学习课件。注：非完整版。

高效学习3D视觉三部曲

第一步 加入行业交流群，保持技术的先进性

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。

[SLAM]视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF（iToF/dToF）/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。

第二步 3D视觉从入门到精通系统课程

目前3D视觉工坊平台针对各个方向的知识点，打造了多门从理论到实战课程，包括：

• 论文写作课程：三维科研

• 基础入门课程：C++、Linux、相机标定、ROS2、dToF

• 工业3D视觉课程：面结构光、线结构光、散斑结构光、相位偏折术、机械臂抓取、三维点云(PCL和Open3D)、缺陷检测

• SLAM课程：LeGo-LOAM、LOAM、LVI-SAM（激光-视觉-IMU-GPS融合SLAM）、Vins-Fusion、ORB-SLAM3、室内/室外激光SLAM等

• 机器人路径规划与控制课程：机器人规控入门与实践

• 三维重建课程：comlap、MVSNet等

• 自动驾驶课程：多传感器标定、视觉Transformer、单目深度估计、3D目标检测、模型部署等。

注：工坊现面向平台所有读者招募主讲老师，奖励丰厚，具体详情可以可以参考：3D视觉主讲老师招募

第三步 加入知识星球，问题及时得到解答

「3D视觉从入门到精通」知识星球，依托于微信公众号「3D视觉工坊」、「计算机视觉工坊」、「3DCV」平台，星球内除了包含3D视觉独家秘制视频课程（近20门，包括三维重建、三维点云、手眼标定、相机标定、3D目标检测、深度估计、ORB-SLAM3、Vins-Fusion、激光-视觉-IMU-GPS融合、机械臂抓取等）、3D视觉项目对接、3D视觉学习路线、最新论文&代码分享、入门书籍推荐、源码汇总、最新行业模组分享、编程基础&作业、求职招聘&面经&面试题等，更有各类大厂的算法工程人员进行技术指导。目前星球铁杆粉丝已近6000+，让我们一起探索更其妙的3D视觉技术、为祖国的创新发展贡献自己的一份力。知识星球入口：3D视觉从入门到精通