LLaMA-Factory，全称Large Language Model Factory，即大型语言模型工厂。它支持多种预训练模型和微调算法，提供了一套完整的工具和接口，使得用户能够轻松地对预训练的模型进行定制化的训练和调整，以适应特定的应用场景，如智能客服、语音识别、机器翻译等。

LLaMA-Factory可以在现有的预训练模型基础上，快速适应特定任务需求，提升模型表现。作为一个功能强大且高效的大模型微调框架，通过其用户友好的界面和丰富的功能特性，为开发者提供了极大的便利。

①LLaMA-Factory支持的模型：LLaMA-Factory支持多种大型语言模型，包括但不限于LLaMA、BLOOM、Mistral、Baichuan、Qwen、ChatGLM等。

②LLaMA-Factory集成方法：包括（增量）预训练、指令监督微调、奖励模型训练、PPO训练、DPO训练和ORPO训练等多种方法。

③LLaMA-Factory运算精度与优化算法：提供32比特全参数微调、16比特冻结微调、16比特LoRA微调和基于AQLM/AWQ/GPTQ/LLM.int8的2/4/8比特QLoRA微调等多种精度选择，以及GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ和Agent微调等先进算法。

一、部署LLaMA-Factory

源码网址：https://github.com/hiyouga/LLaMA-Factory

1.安装

1.1创建虚拟环境

conda create -n llama-factory python=3.11

conda activate llama-factory

1.2下载源码并安装

git clone --depth 1 https://dgithub.xyz/hiyouga/LLaMA-Factory.git

cd LLaMA-Factory

pip install -e ".[torch,metrics]"

2.运行

①conda activate llama-factory

②llamafactory-cli webui

启动后访问：http://0.0.0.0:7860，至此，恭喜您，一个私有化部署的大模型训练系统就成功安装好了。

二、部署ms-swift

s-swift是魔搭社区提供的大模型与多模态大模型微调部署框架，现已支持450+大模型与150+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。其中大模型包括：Qwen2.5、InternLM3、GLM4、Llama3.3、Mistral、DeepSeek-R1、Yi1.5、TeleChat2、Baichuan2、Gemma2等模型，多模态大模型包括：Qwen2.5-VL、Qwen2-Audio、Llama3.2-Vision、Llava、InternVL2.5、MiniCPM-V-2.6、GLM4v、Xcomposer2.5、Yi-VL、DeepSeek-VL2、Phi3.5-Vision、GOT-OCR2等模型。

2.1 安装

Conda create -n ms-swift python=3.10

Conda activate ms-swift

git clone https://github.com/modelscope/ms-swift.git

cd ms-swift

pip install -e .

这里需要注意，安装完成上面步骤后，须更换torch为gpu版本，默认安装的是cpu版本：

pip install xformers==0.0.25 torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu121

2.2 运行

①Conda activate ms-swift

②swift web-ui

至此，恭喜您，又一个强力的大模型训练平台就安装完成了。

后续我会陆续更新上面两个平台的实战攻略和手把手训练视频，欢迎大家关注。