大模型chatglm3-6b （部署本地教程）

4.去魔搭社区下载模型https://modelscope.cn/studios/ZhipuAI/chatglm3-6b-demo/summary。2.然后根据https://blog.csdn.net/weixin_45597212/article/details/135553151安装。1.cuda官网https://developer.nvidia.com/cuda-toolkit-arc

火`光

470人浏览 · 2024-09-02 15:49:10

火`光 · 2024-09-02 15:49:10 发布

大模型chatglm3-6b （部署本地教程）

1.首先看电脑cuda配置
在这里插入图片描述
2.然后根据https://blog.csdn.net/weixin_45597212/article/details/135553151安装

1.cuda官网https://developer.nvidia.com/cuda-toolkit-archive

在这里插入图片描述
2.cudNN官网https://developer.nvidia.com/cudnn-downloads

链接https://pytorch.org/get-started/locally/

2.https://zhipu-ai.feishu.cn/wiki/WvQbwIJ9tiPAxGk8ywDck6yfnof?chunked=false大模型文档

3.git地址https://github.com/THUDM/ChatGLM3

4.去魔搭社区下载模型https://modelscope.cn/studios/ZhipuAI/chatglm3-6b-demo/summary
在这里插入图片描述
5.拉取代码,安装依赖

在这里插入图片描述
6.执行cli_demo

AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

【免费下载】 index-tts-vllm：高性能文本转语音解决方案

`index-tts-vllm` 是一款开源的文本转语音（TTS）项目，基于 `index-tts` 进行了优化，通过引入 `vllm` 库重新实现了 GPT 模型的推理过程，大幅提升了推理速度和并发处理能力。项目旨在为开发者提供一个高效、稳定、易于集成的 TTS 解决方案。## 项目技术分析`index-tts-vllm` 采用了以下核心技术：- **vllm 库**：用于加速 GP

AI Agent技术社区

AgentScope示例应用：多智能体对话

在人工智能快速发展的今天，单一智能体已经难以满足复杂任务的需求。想象一下这样的场景：一个项目团队需要讨论技术方案，不同专业背景的成员各抒己见，最终达成共识。这正是多智能体对话要解决的问题——让多个AI智能体像真实团队成员一样进行有意义的交流。AgentScope作为面向开发者的多智能体编程框架，提供了强大的多智能体对话能力。本文将深入探讨如何使用AgentScope构建高效的多智能体对话系统。..