什么是Langchain

• 定位: LLM （大模型）应用的“瑞士军刀” / 基础工具包。
• 作用: 提供了一套标准接口，让你能轻松连接各种模型、处理数据、管理记忆、调用工具。
• 核心组件:
  • Models: 统一接口连接 OpenAI, Anthropic, 或你本地的 vLLM。
  • Chains: 将多个步骤串联（例如：检索文档 -> 总结 -> 翻译）。
  • RAG: 内置向量数据库连接器和检索逻辑，做知识库问答必备。
  • Agents: 基础的智能体逻辑，让模型决定调用哪个工具。
• 适用场景: 快速原型开发、RAG 知识库、简单的对话机器人。

安装 Langchain:

pip install -U langchain

连接调用大模型

1、创建 python 项目和虚拟环境

在 pycharm ide 中创建项目和虚拟环境：

注： langchain 要求python 版本需要 3.10 以上

2、安装依赖

pip install langchain langchain-openai dotenv

3、 连接本地私有化大模型

项目文件：

(.venv) (base) ➜  langchain_project tree .
.
├── __pycache__
│   └── env_utils.cpython-311.pyc
├── connect_llm.py
└── env_utils.py

2 directories, 3 files

环境变量配置：

# .env

LOCAL_API_KEY=""
LOCAL_BASE_URL="http://localhost:6006/v1"

读取环境变量:

# env_utils.py

import os

from dotenv import load_dotenv

load_dotenv(override=True)

LOCAL_BASE_URL = os.getenv("LOCAL_BASE_URL")
LOCAL_API_KEY = os.getenv("LOCAL_API_KEY")

ZAI_API_KEY = os.getenv("ZAI_API_KEY")
ZAI_BASE_URL = os.getenv("ZAI_BASE_URL")

连接大模型模块：

# connect_llm.py

from langchain_openai import ChatOpenAI

from env_utils import LOCAL_BASE_URL, LOCAL_API_KEY

# 连接 qwen
qw_llm = ChatOpenAI(
    model="qwen3.5-0.8b",   # 私有化部署时，自定的模型名称
    temperature=0.9,        # 控制模型输出的随机性和创造性，数值越高，输出越多样、发散、有创意
    presence_penalty=0.8,   # 控制模型是否重复使用已经出现过的词汇/概念，等于0不惩罚，大于0如果某个词已经出现过，它再次被选中的概率会大幅降低。这会强迫模型使用新词汇，拓展话题，避免车轱辘话。
    base_url=LOCAL_BASE_URL,
    api_key=LOCAL_API_KEY,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}}
)

# 链接 deepseek
ds_llm = ChatOpenAI(
    model="ds-qwen3-8b",
    temperature=0.9,
    presence_penalty=0.8,
    base_url=LOCAL_BASE_URL,
    api_key=LOCAL_API_KEY,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}}
)


message = [
    ("system", "你是一个助手，请回答我的问题。"),
    ("human", "请用中文回答我的问题：如何使用 langchain？")
]

# 测试连接是否成功
qw_resp = qw_llm.invoke(message)
print(f"千问回答：{qw_resp}")

# ds_resp = ds_llm.invoke(message)
# print(f"deepseek回答：{ds_resp}")

运行connect_llm.py可以看到大模型输出信息：

服务器端日志输出：

4、连接在线官方大模型

选择国内智谱 AI，新用户注册后官方会送2000 万token，我们可以免费调用，官方开发者文档

流程：安装官方 sdk --> 获取 api key --> 创建客户端连接 --> 对话

安装官方 sdk

pip install zai-sdk

设置api key

# .env

ZAI_API_KEY="你的智谱 api key"
ZAI_BASE_URL="https://open.bigmodel.cn/api/paas/v4"

# env_utils.py

ZAI_API_KEY = os.getenv("ZAI_API_KEY")
ZAI_BASE_URL = os.getenv("ZAI_BASE_URL")

调用智谱 AI 大模型：

# connect_llm.py

# 智谱大模型连接
from zai import ZhipuAiClient

# Initialize client
zai_llm = ZhipuAiClient(api_key=ZAI_API_KEY)

# Create chat completion
zai_resp = zai_llm.chat.completions.create(
    model="glm-5",
    messages=[
        {"role": "user", "content": "你好，请介绍一下自己, Z.ai!"}
    ]
)
print(zai_resp.choices[0].message.content)

其他在线大模型连接大同小异，都是获取 api key 后基于官方的 sdk 或者 Langchain 进行连接即可。

完整项目源码：

• https://github.com/Tangugo/langchain_project#
• commit id: f2ab7481b6b65