实战案例：使用Synthetic Data Kit为Llama 3创建推理增强数据集

【免费下载链接】synthetic-data-kit Tool for generating high quality Synthetic datasets 项目地址: https://gitcode.com/gh_mirrors/sy/synthetic-data-kit

Synthetic Data Kit是一款强大的高质量合成数据集生成工具，能帮助开发者轻松构建适用于各种AI模型训练的数据集。本案例将详细展示如何利用该工具为Llama 3模型创建推理增强数据集，提升模型的逻辑推理能力和工具使用效率。

为什么需要推理增强数据集？

推理增强数据集通过在工具调用前添加详细的思维链（Chain of Thought），使模型的决策过程更加透明，为模型训练提供更优质的示例。这种方法特别适用于需要复杂推理的任务，如金融分析、市场趋势预测等领域。

推理增强的核心价值：

• 提升模型透明度：让模型的决策过程可解释
• 增强训练效果：提供更丰富的上下文信息
• 优化工具使用：帮助模型更准确地选择和调用工具
• 提高复杂任务处理能力：尤其适合需要多步骤推理的场景

准备工作：环境与工具

在开始之前，确保已完成以下准备工作：

1. 克隆项目仓库：

   git clone https://gitcode.com/gh_mirrors/sy/synthetic-data-kit
   

2. 关键工具组件：

   • CoT生成器：synthetic_data_kit/generators/cot_generator.py
   • 配置文件：use-cases/adding_reasoning_to_llama_3/cot_tools_config.yaml
   • 微调配置：use-cases/adding_reasoning_to_llama_3/tt_configs/ft-config.yaml

实战步骤：从数据准备到模型微调

步骤1：数据加载与格式化

首先，我们需要加载基础工具使用数据集并进行格式化处理。以ToolACE数据集为例：

from datasets import load_dataset

# 加载ToolACE数据集
dataset = load_dataset("Team-ACE/ToolACE")

# 数据集包含11300个训练样本
print(dataset)

步骤2：添加推理链（CoT）增强

使用Synthetic Data Kit的cot-enhance功能为工具调用添加推理链：

# 从命令行运行CoT增强
synthetic-data-kit -c cot_tools_config.yaml create tool_examples/multi_conversations.json --type cot-enhance -o enhanced_results/

增强前后的对比如下：

原始工具调用：

<tool>[Market Trends API(trend_type="MARKET_INDEXES", country="us")]</tool>

增强后（带推理链）：

To get the top market trends in the US, I need to consider the current market situation and the types of trends that are typically available. The Market Trends API seems like the most suitable tool for this task, as it provides the latest market trends and relevant news for a specified country and language. I will use the Market Trends API with the trend type set to MARKET_INDEXES and the country set to us. My thought process is as follows: 
1. Identify the goal: Get the top market trends in the US.
2. Choose the tool: Market Trends API.
3. Set the parameters: trend_type = MARKET_INDEXES, country = us.
With these parameters, I can make the API call to get the required information. <tool>[Market Trends API(trend_type="MARKET_INDEXES", country="us")]</tool>

步骤3：模型微调配置

使用提供的微调配置文件ft-config.yaml设置训练参数：

# 关键参数设置
model:
  _component_: torchtune.models.llama3_1.llama3_1_70b

batch_size: 4
epochs: 30
lr_scheduler:
  _component_: torchtune.training.lr_schedulers.get_cosine_schedule_with_warmup
  num_warmup_steps: 10
optimizer:
  _component_: torch.optim.AdamW
  lr: 2e-5
dtype: bf16

步骤4：启动微调过程

# 在8个设备上启动分布式微调
tune run --nproc_per_node 8 full_finetune_distributed --config ft-config.yaml

效果评估：推理增强带来的性能提升

推理增强数据集显著提升了Llama 3模型的性能。根据实验结果，使用增强数据集微调的模型在BFCLv3基准测试中准确率提升了13%。

从对比图中可以看出，经过推理增强数据集微调的Llama 3模型（FT-3.3-70B）准确率达到64%，比其他开源模型高出9-13个百分点，充分证明了推理增强数据集的价值。

总结与扩展应用

通过本案例，我们展示了如何使用Synthetic Data Kit为Llama 3创建推理增强数据集的完整流程。这种方法不仅适用于金融市场分析，还可广泛应用于：

• 医疗诊断辅助决策
• 法律文档分析
• 复杂科学计算
• 自动驾驶场景判断

想要了解更多细节，可以参考完整教程：use-cases/adding_reasoning_to_llama_3/cot_enhancement_tutorial.ipynb。通过这种方法，您可以轻松提升模型的推理能力和工具使用效率，为各种复杂任务提供更强大的AI支持。

【免费下载链接】synthetic-data-kit Tool for generating high quality Synthetic datasets 项目地址: https://gitcode.com/gh_mirrors/sy/synthetic-data-kit