ChatGLM-6B是由清华大学和智谱AI开源的一款对话语言模型，基于 General Language Model (GLM)架构，具有 62亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性，已经成为在学术界和工业界引起了广泛关注。

本篇将介绍使用DAMODEL深度学习平台部署ChatGLM-6B模型，然后通过Web API的形式使用本地代码调用服务端的模型进行对话。

一、DAMODEL-ChatGLM-6B服务端部署

DAMODEL（丹摩智算）是专为AI打造的智算云，致力于提供丰富的算力资源与基础设施助力AI应用的开发、训练、部署。目前给新用户提供了近100小时的免费4090算力可供使用。

1.1、实例创建

首先进入DAMODEL控制台，点击资源-GPU云实例，点击创建实例：

进入创建页面后，首先在实例配置中首先选择付费类型为按量付费，其次选择单卡启动，然后选择需求的GPU型号，本次实验可以选择选择：按量付费–GPU数量1–NVIDIA-GeForc-RTX-4090，该配置为60GB内存，24GB的显存。

继续往下翻，配置数据硬盘的大小，每个实例默认附带了50GB的数据硬盘，本次创建可以就选择默认大小50GB，可以看到，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，这里选择PyTorch1.13.1的框架启动，也可以选择PyTorch2.1.2版本启动。

点击创建密钥对，输入自定义的名称，创建好密钥对后，选择刚刚创建好的密钥对，并点击立即创建，等待一段时间后即可启动成功！

1.2、模型准备

启动环境后，打开终端，用git 克隆github.com/THUDM/ChatG…项目，若遇到github连接超时，可以选择gitcode站点，或者离线下载并上传到项目中。

bash 代码解读复制代码cd /home/aistudio/work/
git clone https://github.com/THUDM/ChatGLM-6B.git
# 如果遇见github因为网络问题导致失败，可选择gitcode站点进行下载
# git clone https://gitcode.com/applib/ChatGLM-6B.git

成功克隆项目后，会显示如下文件夹：

其次cd进入该文件夹，使用pip安装项目依赖：

 代码解读复制代码pip install -r requirements.txt

可以看到DAMODEL平台环境依赖的下载安装速度可以达到18MB/s以上，非常迅速，等待片刻显示如下Successfully installed则说明依赖安装完成！

依赖安装成功后，我们需要引入模型文件，比较方便的是，DAMODEL（丹摩智算）提供了数据上传功能，用户有20GB免费存储空间，该空间被挂载到实例的/root/shared-storage目录，跨实例共享。

这里首先点击文件存储，点击上传文件。

然后下载Hugging Face上的ChatGLM-6B预训练模型，也可以进入魔塔社区选择www.modelscope.cn/models/Zhip…里的所有文件进行下载

然后将下载下来的模型文件及配置进行上传并解压，上传时尽量保持该界面首页显示，等待上传成功后再进行其他操作。

1.3、模型启动

上传好预训练模型及解压后，我们就可以去启动python脚本运行了，ChatGLM-6B提供了cli_demo.py和web_demo.py两个文件来启动模型，第一个是使用命令行进行交互，第二个是使用本机服务器进行网页交互。

由于要使用本地模型启动，所以我们需要把从Hugging Face Hub加载改为本地路径加载，打开cli_demo.py和web_demo.py文件，将这两行代码改为从本地文件目录加载预训练模型。

然后在终端输入python cli_demo.py就可以成功启动模型了，在cli_demo.py中，main函数启动一个无限循环，等待用户输入。用户可以输入文本与模型进行对话，或输入"clear"清空对话历史并清除屏幕，或输入"stop"退出程序。对于正常的对话输入。

启动模型后的效果如下图所示：

也可以在终端输入python web_demo.py，通过Web界面与模型进行交互。

不过由于Jupyter的限制，无法直接打开访问服务器的127.0.0.1:7860网页端交互界面，这里可以利用MobaXterm建立ssh隧道，实现远程端口到本机端口的转发。首先打开tunneling，新建SSH通道，填入ssh的相关配置，并将7860通道内容转发到本机，点击start开始转发：

转发成功后，就可以成功在网页与模型进行交互了，效果如下：

二、通过Web API实现本地使用

2.1、启动服务

通过以上步骤，我们成功启动了ChatGLM-6B模型，并可以在服务器的JupyterLab中进行对话，下面我们将其部署为API服务，然后在本地进行使用。

同样ChatGLM-6B模型为我们提供了api.py文件，它实现了一个基于FastAPI框架API服务，其接收一个HTTP POST请求，该请求体包含文本生成所需的参数，如prompt（提示文本）、history（对话历史）、max_length（生成文本的最大长度）、top_p（采样时的累积概率阈值）和temperature（采样时的温度参数，影响生成文本的随机性）。在接收到请求后，该服务使用预训练的模型和分词器（tokenizer）来生成一个响应文本，并更新对话历史。随后生成的响应文本、更新后的对话历史、状态码（固定为200）和当前时间戳被打包成一个JSON对象并返回给客户端。

我们可以直接在终端cd进入ChatGLM-6B文件夹，运行api.py文件：

bash 代码解读复制代码cd ChatGLM-6B
python api.py

显示如下提示则说明启动成功！

2.2、开放端口

其次需要为本地访问开放对应的端口，首先需要点击访问控制，进入端口开放页面

然后点击添加端口，输入端口号，并点击确定开放：

点击确认开放端口后，平台会给出访问链接，将其复制以便后续使用

做完以上这些步骤后，服务器端就已经部署好了，接下来测试本地调用效果!

2.3、使用PostMan测试功能

打开PostMan，新建一个Post，将刚刚复制的网址粘贴到url栏，然后在Body中填入相应的内容。

Body示例内容如下：

json 代码解读复制代码{  
  "prompt": "你好，你是谁？",  
  "max_length": 512,  
  "top_p": 0.9,  
  "temperature": 0.7  
}

点击send后，显示以下response则说明成功！

2.4、本地代码使用功能

测试完成后，下面开始转到本地开发，以下是一个基础的单轮对话功能示例代码：

python 代码解读复制代码import requests  
import json  

# API的URL  
# 即刚刚复制的访问链接
api_url = "http://cqbiq6nhri0c73eq3cv0-8000.agent.damodel.com"  
   
data = {  
    "prompt": "你好，你是谁?",  
    "max_length": 500,  
    "top_p": 0.9,  
    "temperature": 1.0  
}  

# 发送POST请求   
response = requests.post(api_url, json=data)  

# 检查响应状态码   
if response.status_code == 200:  
    result = response.json()  
    print("Response:", result['response'])  
    print("Updated History:", result['history'])  
    print("Time:", result['time'])  
else:  
    print("Failed to get response from the API. Status code:", response.status_code)  
    print(response.text)

在此基础上，我们可以实现一个基于ChatGLM-6B模型的简单对话系统，在本地通过命令行与DAMODEL部署好的模型进行交互。对于正常的对话输入，程序将用户的输入作为prompt，连同当前的对话历史记录conversation_history、最大生成长度max_length、top_p和temperature等参数一起发送到指定的API URL。然后，它检查API的响应状态码。如果状态码为200，表示请求成功，程序将打印出API返回的响应内容和更新后的对话历史记录，并更新conversation_history列表。

以下是一个多轮对话的示例代码：

python 代码解读复制代码import requests  
import json  
  
api_url = "http://cqbiq6nhri0c73eq3cv0-8000.agent.damodel.com"  

conversation_history = []
print("欢迎使用 ChatGLM-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序")

while True:
    query = input("\n用户：")
    if query.strip() == "stop":
        break
    if query.strip() == "clear":
        history = []
        os.system(clear_command)
        print("欢迎使用 ChatGLM-6B 模型，输入内容即可进行对话，clear 清空对话历史，stop 终止程序")
        continue
    prompt = query
    data = {  
        "prompt": prompt,  
        "history": conversation_history,  
        "max_length": 5000,  
        "top_p": 0.9,  
        "temperature": 0.9  
    }
    response = requests.post(api_url, json=data)
    if response.status_code == 200:  
        result = response.json()  
        print("Response:", result['response'])  
        print("Updated History:", result['history'])  
          
        conversation_history = result['history']
          
    else:  
        print("Failed to get response from the API. Status code:", response.status_code)  
        print(response.text)  

运行的效果如下：

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

路线图很大就不一一展示了 （文末领取）

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥两本《中国大模型落地应用案例集》 收录了近两年151个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

👉GitHub海量高星开源项目👈

💥收集整理了海量的开源项目，地址、代码、文档等等全都下载共享给大家一起学习！

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告（持续更新）👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓