1.准备

GPU卡，比如5070Ti

2.下载Ollama

官网下载：
https://ollama.com/download
在这里插入图片描述

3.安装Ollama

在这里插入图片描述

4.下载QWEN大语言模型

在这里插入图片描述

同理下载deepseek R：
在这里插入图片描述

5.使用本地QWEN大模型进行推理在这里插入图片描述

在这里插入图片描述

GPU资源使用情况：
在这里插入图片描述

# 语言模型 # 人工智能 # 自然语言处理
Logo
AI Agent技术社区

Agent 垂直技术社区，欢迎活跃、内容共建。

更多推荐

cover

Agent 实操入门 02：第一款工具怎么挑、怎么用 —— 以腾讯 WorkBuddy 为例

avatar AI Agent技术社区
cover

我用 Codex，给本地量化数据库搭了一套数据质检系统

avatar AI Agent技术社区

Harness Engineering 完全解读：让 AI Agent 从跑偏到可控

《Harness Engineering：AI Agent可控化工程实践》摘要 Harness Engineering是2026年AI工程的关键范式，由Mitchell Hashimoto提出，核心是"人类掌舵，智能体执行"。该理念将AI模型视为"大脑"，通过构建约束系统（Harness）——包括格式规范、流程编排、工具白名单等前馈引导，以及自动化校验、评估

avatar AI Agent技术社区