BLINK_Benchmark：评估多模态大语言模型的视觉感知能力

项目介绍

BLINK_Benchmark 是一个专注于评估多模态大语言模型（LLMs）核心视觉感知能力的新基准测试。该项目源于论文 "BLINK: Multimodal Large Language Models Can See but Not Perceive"，并通过将14个经典计算机视觉任务转化为3807个选择题，配合单张或多张图片和视觉提示，来测试模型在视觉感知方面的表现。BLINK_Benchmark 的目标是通过这些任务，推动多模态LLMs达到人类级别的视觉感知能力。

项目技术分析

BLINK_Benchmark 的核心在于其设计的多个视觉感知任务，这些任务涵盖了相对深度估计、视觉对应关系、法医检测和多视角推理等，都是人类可以在“一瞬间”解决的直观问题。然而，这些任务对当前的多模态LLMs来说却极具挑战性，因为它们难以通过自然语言中介来解决。

项目的技术亮点包括：

• 数据集构建：BLINK_Benchmark 采用了多样化的视觉提示，并超越了简单的识别感知，涵盖了视觉常识。
• 评估方法：项目提供了一个评估框架，可以加载不同的子任务数据集，并通过雷达图等可视化工具展示模型表现。
• 挑战性任务：这些任务对现有模型来说极具挑战性，即使是表现最好的GPT-4V和Gemini模型，准确率也仅为51.26%和45.72%。

项目及应用场景

BLINK_Benchmark 的应用场景广泛，它不仅可以作为评估多模态LLMs视觉感知能力的一个标准，还可以帮助研究人员发现模型的弱点，并指导未来的研究方向。以下是几个具体的应用场景：

• 模型评估：为多模态LLMs提供一个全面的视觉感知能力评估平台。
• 模型优化：通过分析模型在不同任务上的表现，帮助研究人员优化模型结构。
• 研究指导：为多模态LLMs的未来研究提供方向，特别是在视觉感知方面。

项目特点

BLINK_Benchmark 具有以下显著特点：

• 挑战性：任务设计考虑了人类直觉，但对模型来说是新的挑战。
• 多样性：涵盖多个视觉感知领域，确保模型在各种任务上都能得到全面评估。
• 开放性：项目欢迎社区参与，通过EvalAI平台提供测试集评估，促进公平竞争。
• 标准化：提供标准化的数据集和评估框架，方便研究人员复现和比较结果。

总结而言，BLINK_Benchmark 是一个值得关注的开源项目，它不仅为多模态LLMs的视觉感知能力提供了一个新的评估标准，也为模型的优化和研究提供了宝贵的资源。通过参与这个项目，研究人员和开发者可以共同推动多模态LLMs在视觉感知领域的发展。