3步掌握开源大模型微调：基于Mistral 7B的高效分布式训练实战

【免费下载链接】hackathon 项目地址: https://gitcode.com/GitHub_Trending/hac/hackathon

你是否曾为大模型训练的资源消耗和部署复杂度而头疼？是否想在保持模型性能的同时大幅降低微调成本？今天，我们一起来探索GitHub Trending热门项目——基于Mistral 7B的开源大模型微调框架，学习如何用高效分布式训练和LoRA技术实现低成本、高性能的模型定制化。

核心理念：轻量化微调，高效能产出

在当前的AI浪潮中，大模型训练往往需要海量计算资源，这对于大多数开发者和中小团队来说是一个巨大的门槛。这个项目正是为了解决这一痛点而生——它基于Mistral 7B模型，提供了一套完整的轻量化微调方案。

项目的核心价值在于：用20%的资源实现80%的微调效果。通过创新的分布式架构和参数高效微调技术，开发者可以在普通GPU集群上完成7B级别大模型的定制化训练，大大降低了技术门槛和成本。

技术架构：分布式并行与参数高效微调

项目的技术架构设计巧妙融合了分布式数据并行和LoRA微调两大核心技术，形成了独特的"双轮驱动"模式。

分布式数据并行架构

分布式训练是项目的基石。在finetune/distributed.py中，我们看到了精心设计的进程组划分机制：

# 进程组初始化核心代码
def our_initialize_model_parallel(_backend: Optional[str] = None, n_replica: int = 1) -> None:
    assert torch.distributed.is_initialized()
    world_size = torch.distributed.get_world_size()
    assert world_size % n_replica == 0, f"{world_size=} is not divisible by {n_replica=}"
    rank = torch.distributed.get_rank()

    shard_size = int(world_size / n_replica)
    groups = torch.LongTensor(range(world_size)).reshape(n_replica, shard_size)

这种架构将训练任务划分为分片组和副本组两个维度。分片组负责模型参数的分片存储和计算，而副本组则处理数据的并行处理和梯度聚合。这种设计不仅提高了训练效率，还增强了系统的容错能力。

LoRA微调技术

LoRA（Low-Rank Adaptation）是项目的另一大亮点。相比传统的全参数微调，LoRA通过冻结预训练模型的大部分参数，只训练少量低秩矩阵参数，实现了参数效率和训练速度的双重提升。

在reference/7B_lora.yaml配置文件中，我们可以看到LoRA的核心参数配置：

lora:
  enable: true
  rank: 64
  quantized: false
  dropout: 0.0
  scaling: 2.0

这里的rank=64表示低秩矩阵的秩大小，这是控制参数量的关键参数。通过调整这个值，开发者可以在模型性能和训练成本之间找到最佳平衡点。

实践应用：从零开始部署微调

环境搭建与依赖安装

项目的环境配置非常友好，提供了多种部署方式。对于快速启动，推荐使用Docker容器：

# 构建Docker镜像
docker build deploy --build-arg MAX_JOBS=8

# 安装依赖
pip install -r requirements_hackathon.txt

项目提供了专门的requirements_hackathon.txt文件，包含了所有必要的依赖项，确保环境配置的一致性。

数据准备策略

数据格式的标准化是高效训练的前提。项目支持两种数据格式：

预训练数据格式：

{"text": "文本内容示例1"}
{"text": "文本内容示例2"}

指令微调数据格式：

{
  "interactions": [
    {"is_user": true, "text": "用户问题"},
    {"is_user": false, "text": "模型回答"}
  ]
}

这种设计使得项目能够灵活适应不同的训练场景，无论是基础的预训练还是复杂的指令微调。

启动分布式训练

启动训练的命令简洁明了：

torchrun --nproc-per-node 1 --master_port $RANDOM -m train reference/7B_lora.yaml

通过调整nproc-per-node参数，可以轻松控制使用的GPU数量，实现从单卡到多卡的灵活扩展。

关键技术：注意力机制优化

在处理长序列数据时，项目采用了多种注意力优化技术，这些技术在项目的示意图中得到了直观展示：

这张图展示了分块处理技术如何将长序列划分为Past、Cache、Current三个区域。通过限制注意力范围，计算复杂度从O(n²)降低到O(n)，大大提高了长文本处理的效率。

![# 第 5 节 函数

实验简介

上一节我们学习了流程控制，这一节我们来学习函数。

一、函数

1. 定义函数

函数是可重用的程序代码块。函数的作用，不仅可以实现代码的复用，更能实现代码的一致性。一致性指的是，只要修改函数的代码，则所有调用该函数的地方都能得到体现。

在编写函数时，函数体中的代码写法和我们前面讲述的基本一致，只是对代码实现了封装，并增加了函数调用、传递参数、返回计算结果等内容。

为了让大家更容易理解，掌握的更深刻。我们也要深入内存底层进行分析。绝大多数语言内存底层都是高度相似的，这样大家掌握了这些内容也便于以后学习其他语言。

函数的基本概念：

• 一个程序由一个个任务组成；函数就是代表一个任务或者一个功能。
• 函数是代码复用的通用机制。

Python 函数的分类：

• 内置函数：我们前面使用的 str()、list()、len()等这些都是内置函数，我们可以拿来直接使用。
• 标准库函数：我们可以通过 import 语句导入库，然后使用其中定义的函数
• 第三方库函数：Python 社区也提供了很多高质量的库。下载安装这些库后，也是通过 import 语句导入，然后可以使用这些第三方库的函数
• 用户自定义函数：用户自己定义的函数，显然也是开发中适应用户自身需求定义的函数。今天我们学习的就是如何自定义函数。

Python 中，定义函数的语法如下：

def 函数名 ([参数列表]) :
    '''文档字符串'''
    函数体/若干语句 

要点：

• 我们使用 def 来定义函数，然后就是一个空格和函数名称；
  • Python 执行 def 时，会创建一个函数对象，并绑定到函数名变量上。
• 参数列表
  • 圆括号内是形式参数列表，有多个参数则使用逗号隔开
  • 形式参数不需要声明类型，也不需要指定函数返回值类型
  • 无参数，也必须保留空的圆括号
  • 实参列表必须与形参列表一一对应
• return 返回值
  • 如果函数体中包含 return 语句，则结束函数执行并返回值；
  • 如果函数体中不包含 return 语句，则返回 None 值。
• 调用函数之前，必须要先定义函数，即先调用 def 创建函数对象
  • 内置函数对象会自动创建
  • 标准库和第三方库函数，通过 import 导入模块时，会执行模块中的 def 语句

我们通过一个简单的例子来理解一下：

def test01():
    print("*"*10)
    print("@"*10)

print(id(test01))
print(type(test01))
print(test01) 

运行结果：

我们使用 def 定义了一个函数。我们也可以使用“函数名.doc”查看函数的文档字符串，使用“函数名.name”查看函数的名称。

2. 形参和实参

我们来看一个例子：

def printMax(a,b):
    '''实现两个数的比较，并返回较大的值'''
    if a>b:
        print(a,"较大值")
    else:
        print(b,"较大值")

printMax(10,20)
printMax(200,100) 

运行结果：

上面的 printMax 函数中，在定义时写的 printMax(a,b)，a 和 b 称为“形式参数”，简称“形参”。也就是说，形式参数是在定义函数时使用的。形式参数的命名只要符合“标识符”命名规则即可。

在调用函数时，传递的参数称为“实际参数”，简称“实参”。上面代码中，printMax(10,20)，10 和 20 就是实际参数。

3. 文档字符串（函数的注释）

我们通过三个单引号或者三个双引号来实现，中间可以加入多行文字进行说明。

我们调用 help(函数名.doc)可以打印输出函数的文档字符串。我们也可以通过函数名.__doc__直接获取到函数的文档字符串。

def print_star(n):
    '''根据传入的 n，打印多个星号'''
    print("*"*n)

help(print_star)
print(print_star.__doc__) 

运行结果：

4. 返回值

return 返回值要点：

• 如果函数体中包含 return 语句，则结束函数执行并返回值；
• 如果函数体中不包含 return 语句，则返回 None 值。
• 要返回多个返回值，使用列表、元组、字典、集合将多个值“存起来”即可。

我们来看一个例子：

def add(a,b):
    print("计算两个数的和：{0},{1},{2}".format(a,b,(a+b)))
    return a+b

def test02():
    print("sxt")
    print("gao")

    return      #return 两个作用：1.返回值；2.结束函数的执行
    print("hello")

def test03(x,y,z):
    return [x*10,y*10,z*10]

c = add(30,40)
print(add(30,40)*10)
d = test02()
print(d)

print(test03(4,3,2)) 

运行结果：

5. 函数也是对象，内存底层分析

Python 中，“一切都是对象”。实际上，执行 def 定义函数后，系统就创建了相应的函数对象。我们来看一个例子：

def print_star(n):
    print("*"*n)

print(print_star)
print(id(print_star))

c = print_star
c(3) 

运行结果：

上面代码可以看出，我们定义的函数 print_star，实际上也是一个函数对象，print_star 是变量名，它引用了这个函数对象。执行 c=print_star 后，显然 c 变量也指向了这个函数对象。那么，我们就可以调用这个函数对象。

我们再来看一个例子：

def test01():
    print("sxt")

test01()  #调用函数

c = test01   #赋值给其他变量
c()          #通过变量调用函数

print(id(test01))
print(id(c))
print(type(c)) 

运行结果：

6. 变量的作用域（全局变量和局部变量）

变量起作用的范围称为变量的作用域，不同作用域内同名变量之间互不影响。变量分为：全局变量、局部变量。

全局变量：

• 在函数和类定义之外声明的变量。作用域为定义的模块，从定义位置开始直到模块结束。
• 全局变量降低了函数的通用性和可读性。应尽量避免全局变量的使用。
• 全局变量一般做常量使用。
• 函数内要改变全局变量的值，使用 global 声明一下

局部变量：

• 在函数体中（包含形式参数）声明的变量。
• 局部变量的引用比全局变量快，优先考虑使用。
• 如果局部变量和全局变量同名，则在函数内隐藏全局变量，只使用同名的局部变量

我们来看一个例子：

a = 100         #全局变量

def f1():
    global a    #如果要在函数内改变全局变量的值，增加 global 关键字声明
    print(a)    #打印全局变量 a 的值
    a = 300

f1()
print(a) 

运行结果：

我们再看一个例子：

a = 100
def f1():
    a = 3   #同名的局部变量
    print(a)

f1()
print(a)    #a 仍然是 100，没有变化 

运行结果：

我们再看一个例子：

#测试局部变量和全局变量的效率
import math
import time

def test01():
    start = time.time()
    for i in range(10000000):
        math.sqrt(30)
    end = time.time()
    print("耗时{0}".format((end-start)))

def test02():
    b = math.sqrt
    start = time.time()
    for i in range(10000000):
        b(30)
    end = time.time()
    print("耗时{0}".format((end-start)))

test01()
test02() 

运行结果：

由于局部变量的效率高于全局变量，因此我们通过上例可以看出，test02 的效率明显高于 test01。

7. 参数的传递

函数的参数传递本质上就是：从实参到形参的赋值操作。 Python 中“一切皆对象”，所有的赋值操作都是“引用的赋值”。所以，Python 中参数的传递都是“引用传递”，不是“值传递”。具体操作时分为两类：

• 对“可变对象”进行“写操作”，直接作用于原对象本身。
• 对“不可变对象”进行“写操作”，会产生一个新的“对象空间”，并用新的值填充这块空间。（起到其他语言的“值传递”效果，但不是“值传递”）

可变对象有：字典、列表、集合、自定义的对象等

不可变对象有：数字、字符串、元组、function 等

我们来看一个例子：

#参数传递：传递可变对象的引用
b = [10,20]
def f2(m):
    print("m:",id(m))       #b 和 m 是同一个对象
    m.append(30)    #由于 m 是可变对象，不创建对象拷贝，直接修改这个对象

f2(b)
print("b:",id(b))
print(b) 

运行结果：

我们再看一个例子：

#参数传递：传递不可变对象的引用
a = 100
def f1(n):
    print("n:",id(n))        #传递进来的是 a 对象的地址
    n = n+200            #由于 a 是不可变对象，因此创建新的对象 n
    print("n:",id(n))    #n 已经变成了新的对象
    print(n)
f1(a)
print("a:",id(a)) 

运行结果：

显然，通过 id 值我们可以看到 n 和 a 一开始是同一个对象。给 n 赋值后，n 是新的对象。

8. 浅拷贝和深拷贝

为了更深入的了解参数传递的底层原理，我们需要讲解一下“浅拷贝和深拷贝”。我们可以使用内置函数：copy(浅拷贝)、deepcopy(深拷贝)。

浅拷贝：不拷贝子对象的内容，只是拷贝子对象的引用。

深拷贝：会连子对象的内存也全部拷贝一份，对子对象的修改不会影响源对象

我们来看一个例子：

#测试浅拷贝和深拷贝
import copy

def testCopy():
    '''测试浅拷贝'''
    a = [10, 20, [5, 6]]
    b = copy.copy(a)

    print("a", a)
    print("b", b)
    b.append(30)
    b[2].append(7)
    print("浅拷贝......")
    print("a", a)
    print("b", b)

def testDeepCopy():
    '''测试深拷贝'''
    a = [10, 20, [5, 6]]
    b = copy.deepcopy(a)

    print("a", a)
    print("b", b)
    b.append(30)
    b[2].append(7)
    print("深拷贝......")
    print("a", a)
    print("b", b)

testCopy()
print("*************")
testDeepCopy() 

运行结果：

9. 传递不可变对象包含的子对象是可变的情况

我们来看一个例子：

#传递不可变对象时。不可变对象里面包含的子对象是可变的。则方法内修改了这个可变对象，源对象也发生了变化。

a = (10,20,[5,6])
print("a:",id(a))

def test01(m):
    print("m:",id(m))
    m[2][0] = 888
    print(m)
    print("m:",id(m))

test01(a)
print(a) 

运行结果：

10. 参数的类型

（1）位置参数

函数调用时，实参默认按位置顺序传递，需要个数和形参匹配。按位置传递的参数，称为：“位置参数”。我们来看一个例子：

def f1(a,b,c):
    print(a,b,c)

f1(2,3,4)
f1(2,3)  #报错，位置参数不匹配 

运行结果：

（2）默认值参数

我们可以为某些参数设置默认值，这样这些参数在传递时就是可选的。称为“默认值参数”。默认值参数放到位置参数后面。我们来看一个例子：

def f1(a,b,c=10,d=20):   #默认值参数必须位于普通位置参数后面
    print(a,b,c,d)

f1(8,9)
f1(8,9,19)
f1(8,9,19,29) 

运行结果：

（3）命名参数

我们也可以按照形参的名称传递参数，称为“命名参数”，也称“关键字参数”。我们来看一个例子：

def f1(a,b,c):
    print(a,b,c)

f1(8,9,19)          #位置参数
f1(c=10,a=20,b=30)  #命名参数 

运行结果：

（4）可变参数

可变参数指的是“可变数量的参数”。分两种情况：

• *param（一个星号），将多个参数收集到一个“元组”对象中。
• **param（两个星号），将多个参数收集到一个“字典”对象中。

我们来看一个例子：

def f1(a,b,*c):
    print(a,b,c)

f1(8,9,19,20)

def f2(a,b,**c):
    print(a,b,c)

f2(8,9,name='gaoqi',age=18)

def f3(a,b,*c,**d):
    print(a,b,c,d)

f3(8,9,20,30,name='gaoqi',age=18) 

运行结果：

（5）强制命名参数

在带星号的“可变参数”后面增加新的参数，必须在调用的时候“强制命名参数”。我们来看一个例子：

def f1(*a,b,c):
    print(a,b,c)

#f1(2,3,4)   #会报错。由于 a 是可变参数，将 2,3,4 全部收集。造成 b 和 c 没有赋值。
f1(2,b=3,c=4) 

运行结果：

11. lambda 表达式和匿名函数

lambda 表达式可以用来声明匿名函数。lambda 函数是一种简单的、在同一行中定义函数的方法。lambda 函数实际生成了一个函数对象。

lambda 表达式只允许包含一个表达式，不能包含复杂语句，该表达式的计算结果就是函数的返回值。

lambda 表达式的基本语法如下：lambda arg1,arg2,arg3... : <表达式>

arg1/arg2/arg3 为函数的参数。<表达式>相当于函数体。运算结果是：表达式的运算结果。

我们来看一个例子：

f = lambda a,b,c:a+b+c
print(f)
print(f(2,3,4))

g = [lambda a:a*2,lambda b:b*3,lambda c:c*4]
print(g0,g1,g2) 

运行结果：

12. eval()函数

功能：将字符串 str 当成有效的表达式来求值并返回计算结果。

语法：eval(source[, globals[, locals]]) -> value

参数：source：一个 Python 表达式或函数 compile()返回的代码对象；globals：可选。必须是 dictionary；locals：可选。任意映射对象。

我们来看一个例子：

s = "print('abcde')"
eval(s)

a = 10
b = 20
c = eval("a+b")
print(c)

dict1 = dict(a=100,b=200)

d = eval("a+b",dict1)
print(d) 

运行结果：

13. 递归函数

递归函数指的是：自己调用自己的函数，在函数体内部直接或间接的自己调用自己。递归类似于大家中学数学学习过的“数学归纳法”。 每个递归函数必须包含两个部分：

• 终止条件：表示递归什么时候结束。一般用于返回值，不再调用自己。
• 递归步骤：把第 n 步的值和第 n-1 步相关联。

递归函数由于会创建大量的函数对象、过量的消耗内存和运算能力。在处理大量数据时，谨慎使用。

我们来看一个例子：

def factorial(n):
    if n==1:
        return 1
    else:
        return n*factorial(n-1)

for i in range(1,6):
    print(i,'!=',factorial(i)) 

运行结果：

二、小结

本节我们学习了函数，包括函数的定义、形参和实参、文档字符串、返回值、函数也是对象、变量的作用域、参数的传递、浅拷贝和深拷贝、参数的类型、lambda 表达式和匿名函数、eval()函数、递归函数等。函数是 Python 中非常重要的概念，希望大家能够好好理解。

【免费下载链接】hackathon 项目地址: https://gitcode.com/GitHub_Trending/hac/hackathon