GeoGPT4V几何多模态大语言模型完全指南

【免费下载链接】GeoGPT4V 项目地址: https://gitcode.com/gh_mirrors/ge/GeoGPT4V

GeoGPT4V是一个将几何学与多模态AI技术相结合的创新开源项目，致力于构建能够理解和解决复杂几何问题的大型语言模型。该项目通过几何图像生成来增强多模态能力，为几何学习与人工智能研究开辟了新方向。

项目核心架构

GeoGPT4V采用模块化设计，主要包含以下几个核心组件：

• 数据处理模块：负责数据格式转换和预处理
• 指令生成模块：通过GPT-4V生成几何问题的指令
• 图像生成模块：利用Wolfram引擎生成几何图像
• 重排序模块：对生成结果进行质量排序
• 过滤模块：筛选高质量的训练数据

环境配置步骤

创建虚拟环境

首先需要创建专用的Python虚拟环境：

conda create -n geogpt4v python=3.10 -y
conda activate geogpt4v

安装项目依赖

安装项目所需的核心依赖包：

pip install -r requirements.txt

项目依赖包括jsonlines、tqdm、pillow、pickle和base64等基础库，确保几何数据处理和图像生成的顺利进行。

安装Wolfram引擎

GeoGPT4V依赖Wolfram引擎进行几何计算和图像生成。需要按照Wolfram官方教程安装并获取API密钥，在相关脚本中正确配置。

数据集准备

支持的数据集类型

GeoGPT4V支持多种几何数据集格式：

• 选择题格式：包含问题、选项和正确答案
• 开放式问题格式：包含问题和详细解答

数据格式转换

需要将原始数据集转换为JSONLine格式，每个样本包含唯一ID、问题文本、答案和对应的图像路径。

数据生成流程

数据生成是GeoGPT4V项目的核心环节，需要按照以下顺序执行脚本：

1. 指令生成：运行scripts/gen_instruction_gpt4v_mp.sh生成几何问题指令
2. 图像生成：运行scripts/gen_image_mp.sh生成对应的几何图像
3. 结果重排序：运行scripts/rerank_gp4v_mp.sh对生成结果进行质量排序
4. 数据过滤：运行scripts/filter.sh筛选高质量训练数据

模型训练支持

GeoGPT4V兼容多种主流多模态大语言模型的训练框架：

• LLaVA系列模型
• ShareGPT4V系列模型
• InternVL-Chat系列模型

可以通过运行scripts/convert_format.sh将GeoGPT4V数据集转换为特定模型训练所需的格式。

可用数据集和模型

数据集资源

项目提供了多个版本的GeoGPT4V数据集：

• GeoGPT4V-1.0：论文中使用的原始数据集
• GeoGPT4V-1.1：应用基于图像大小的规则过滤后的增强数据集

预训练模型

项目发布了多个基于GeoGPT4V数据集训练的模型：

• LLaVA-1.5-7B-GeoGPT4V
• LLaVA-1.5-13B-GeoGPT4V
• ShareGPT4V-7B-GeoGPT4V
• ShareGPT4V-13B-GeoGPT4V
• InternVL-Chat-40B-GeoGPT4V

项目特色功能

几何图像生成

利用Wolfram引擎的强大几何计算能力，自动生成与几何问题对应的精确图像，确保视觉信息的准确性。

多模态指令调优

通过GPT-4V生成高质量的几何问题指令，结合几何图像构建完整的多模态训练样本。

智能数据过滤

采用多级过滤机制，确保训练数据的质量和多样性，提升模型在几何问题上的表现。

使用注意事项

1. 环境配置：确保Python版本为3.10，并正确安装所有依赖
2. API配置：在相关脚本中正确设置Wolfram API密钥
3. 数据格式：严格按照JSONLine格式准备数据集
4. 网络连接：确保能够稳定访问外部服务

通过遵循本指南，开发者可以快速上手GeoGPT4V项目，充分利用其强大的几何多模态能力，推动几何AI研究的发展。

【免费下载链接】GeoGPT4V 项目地址: https://gitcode.com/gh_mirrors/ge/GeoGPT4V