ERNIE-4.5-0.3B-PT实战：用Python调用大模型超简单

1. 引言：为什么选择这个小巧强大的模型

你是不是曾经想用大模型做点有趣的事情，但被复杂的部署和高昂的硬件要求劝退了？今天我要介绍的ERNIE-4.5-0.3B-PT可能会改变你的想法。

这个只有0.36亿参数的模型，虽然体积小巧，但在中文理解和生成任务上表现相当出色。最重要的是，它可以在普通电脑上运行，不需要昂贵的GPU设备。无论你是想做个智能聊天机器人、自动写文章的工具，还是其他创意应用，这个模型都能帮你快速实现。

本文将手把手教你如何用Python调用这个模型，从环境准备到实际应用，每个步骤都有详细说明和代码示例。即使你是刚接触AI的新手，也能跟着教程顺利完成。

2. 环境准备：快速搭建运行环境

2.1 安装必要的库

首先确保你的Python版本在3.8以上，然后安装必要的依赖库：

pip install transformers>=4.54.0
pip install torch
pip install accelerate

这些库的作用分别是：

• transformers：提供了预训练模型和相关的工具函数
• torch：深度学习框架，模型运行的基础
• accelerate：帮助模型在不同硬件上高效运行

2.2 检查环境是否正常

安装完成后，可以用以下代码测试环境是否正常：

import torch
print(f"PyTorch版本: {torch.__version__}")
print(f"CUDA是否可用: {torch.cuda.is_available()}")
print(f"可用GPU数量: {torch.cuda.device_count()}")

如果输出显示CUDA可用，说明你的GPU环境已经配置好。如果没有GPU也不用担心，这个模型在CPU上也能运行，只是速度会慢一些。

3. 基础调用：最简单的模型使用方式

3.1 加载模型和分词器

让我们从最简单的调用开始。首先加载模型和对应的分词器：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 指定模型名称
model_name = "baidu/ERNIE-4.5-0.3B-PT"

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 加载模型
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto",  # 自动选择GPU或CPU
    torch_dtype=torch.bfloat16,  # 使用bfloat16精度节省内存
    trust_remote_code=True
)

这段代码做了以下几件事情：

1. 指定要使用的模型名称
2. 加载分词器，负责将文本转换成模型能理解的数字
3. 加载模型本身，并自动选择运行设备（GPU优先）

3.2 第一个文本生成示例

现在让我们试试让模型生成一段文本：

# 准备输入文本
prompt = "请用简单的语言解释什么是人工智能"
messages = [{"role": "user", "content": prompt}]

# 格式化输入
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

# 编码输入
model_inputs = tokenizer([text], add_special_tokens=False, return_tensors="pt").to(model.device)

# 生成文本
with torch.no_grad():
    generated_ids = model.generate(
        **model_inputs,
        max_new_tokens=200,  # 最多生成200个新token
        temperature=0.7,     # 控制生成多样性
        do_sample=True       # 使用采样而不是贪心搜索
    )

# 解码输出
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
generate_text = tokenizer.decode(output_ids, skip_special_tokens=True)

print("模型回答:", generate_text)

运行这段代码，你应该能看到模型生成的关于人工智能的解释。温度参数temperature控制着生成的随机性：值越小生成越保守，值越大生成越有创意。

4. 实用技巧：提升模型使用效果

4.1 调整生成参数获得更好结果

不同的任务需要不同的生成参数。下面是一些常用的参数配置示例：

def generate_text(prompt, max_tokens=200, temperature=0.7, top_p=0.9):
    messages = [{"role": "user", "content": prompt}]
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    
    model_inputs = tokenizer([text], add_special_tokens=False, return_tensors="pt").to(model.device)
    
    generated_ids = model.generate(
        **model_inputs,
        max_new_tokens=max_tokens,
        temperature=temperature,
        top_p=top_p,
        do_sample=True,
        pad_token_id=tokenizer.eos_token_id
    )
    
    output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
    return tokenizer.decode(output_ids, skip_special_tokens=True)

# 创意写作模式
creative_writing = generate_text(
    "写一个关于未来城市的短故事",
    temperature=0.9,
    top_p=0.95,
    max_tokens=300
)

# 技术问答模式
technical_answer = generate_text(
    "解释神经网络的工作原理",
    temperature=0.3,
    top_p=0.7,
    max_tokens=150
)

print("创意写作结果:", creative_writing)
print("\n技术问答结果:", technical_answer)

4.2 处理长文本和对话

如果需要处理长文本或者进行多轮对话，可以这样实现：

def chat_with_model(messages, max_tokens=150):
    """与模型进行多轮对话"""
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    
    model_inputs = tokenizer([text], add_special_tokens=False, return_tensors="pt").to(model.device)
    
    generated_ids = model.generate(
        **model_inputs,
        max_new_tokens=max_tokens,
        temperature=0.7,
        do_sample=True
    )
    
    output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
    response = tokenizer.decode(output_ids, skip_special_tokens=True)
    
    return response

# 示例对话
conversation = [
    {"role": "user", "content": "你好，能帮我规划一下学习Python的路线吗？"},
    {"role": "assistant", "content": "当然可以！学习Python可以从基础语法开始，然后逐步深入学习各种库和框架。"},
    {"role": "user", "content": "那具体应该按什么顺序学习呢？"}
]

response = chat_with_model(conversation)
print("模型回复:", response)

5. 常见问题解决：你可能遇到的坑

5.1 内存不足问题处理

如果遇到内存不足的错误，可以尝试以下解决方案：

# 方案1：使用更低精度的数据类型
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,  # 使用float16而不是bfloat16
    device_map="auto",
    trust_remote_code=True
)

# 方案2：使用CPU卸载（适合内存较大的CPU）
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float32,
    device_map="cpu",  # 强制使用CPU
    trust_remote_code=True
)

# 方案3：使用内存更高效的生成方式
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=100,
    temperature=0.7,
    do_sample=True,
    use_cache=True,  # 启用缓存减少内存使用
)

5.2 生成质量优化

如果对生成结果不满意，可以尝试这些优化技巧：

# 改进的生成函数
def improved_generate(prompt, max_tokens=200):
    messages = [{"role": "user", "content": prompt}]
    text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    
    model_inputs = tokenizer(
        [text], 
        add_special_tokens=False, 
        return_tensors="pt",
        truncation=True,
        max_length=1024  # 限制输入长度
    ).to(model.device)
    
    generated_ids = model.generate(
        **model_inputs,
        max_new_tokens=max_tokens,
        temperature=0.7,
        top_p=0.9,
        repetition_penalty=1.1,  # 减少重复
        do_sample=True,
        num_return_sequences=1
    )
    
    output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
    return tokenizer.decode(output_ids, skip_special_tokens=True)

6. 实际应用案例：让模型为你工作

6.1 构建简单的问答系统

让我们用这个模型构建一个简单的问答系统：

class SimpleQASystem:
    def __init__(self, model, tokenizer):
        self.model = model
        self.tokenizer = tokenizer
    
    def answer_question(self, question, context=None):
        if context:
            prompt = f"根据以下信息回答问题：\n{context}\n\n问题：{question}"
        else:
            prompt = f"回答问题：{question}"
        
        messages = [{"role": "user", "content": prompt}]
        text = self.tokenizer.apply_chat_template(
            messages,
            tokenize=False,
            add_generation_prompt=True
        )
        
        model_inputs = self.tokenizer([text], return_tensors="pt").to(self.model.device)
        
        with torch.no_grad():
            generated_ids = self.model.generate(
                **model_inputs,
                max_new_tokens=150,
                temperature=0.3,  # 较低温度保证答案准确性
                do_sample=True
            )
        
        output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
        return self.tokenizer.decode(output_ids, skip_special_tokens=True)

# 使用示例
qa_system = SimpleQASystem(model, tokenizer)

# 简单问答
answer = qa_system.answer_question("Python是什么编程语言？")
print("答案:", answer)

# 基于上下文的问答
context = "人工智能是计算机科学的一个分支，旨在创建能够执行通常需要人类智能的任务的系统。"
answer_with_context = qa_system.answer_question("人工智能是什么？", context)
print("带上下文的答案:", answer_with_context)

6.2 文本摘要生成

模型还可以用来生成文本摘要：

def generate_summary(text, max_length=100):
    prompt = f"请为以下文本生成一个简洁的摘要：\n\n{text}"
    
    messages = [{"role": "user", "content": prompt}]
    formatted_text = tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
    )
    
    model_inputs = tokenizer([formatted_text], return_tensors="pt").to(model.device)
    
    with torch.no_grad():
        generated_ids = model.generate(
            **model_inputs,
            max_new_tokens=max_length,
            temperature=0.3,
            do_sample=True
        )
    
    output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist()
    return tokenizer.decode(output_ids, skip_special_tokens=True)

# 摘要生成示例
long_text = """
人工智能是当前科技领域最热门的话题之一。它涉及机器学习、深度学习、自然语言处理等多个子领域。
近年来，随着计算能力的提升和大数据的积累，人工智能技术取得了突破性进展。从自动驾驶到智能医疗，
从语音助手到推荐系统，人工智能正在改变我们生活的方方面面。
"""

summary = generate_summary(long_text)
print("原文:", long_text)
print("\n摘要:", summary)

7. 总结

通过本文的学习，你应该已经掌握了如何使用Python调用ERNIE-4.5-0.3B-PT模型的基本方法。这个模型虽然参数不多，但在中文处理任务上表现相当不错，而且对硬件要求不高，非常适合初学者和个人开发者使用。

关键要点回顾：

1. 环境配置简单，只需要安装几个Python库
2. 模型加载和调用都有现成的代码示例
3. 通过调整参数可以控制生成效果
4. 可以应用于问答、摘要、对话等多种场景

下一步学习建议：

• 尝试用这个模型做你自己的小项目
• 学习如何微调模型以适应特定任务
• 探索模型的其他应用场景，比如代码生成、创意写作等

记住，最好的学习方式就是动手实践。从一个小项目开始，逐步深入，你会发现大模型并没有想象中那么复杂。

---

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。