AnythingLLM：本地部署的全能 AI 应用

AnythingLLM 斩获了 61k+ Star：

AnythingLLM 是一个开源的本地 AI 应用，可以把各种大语言模型变成你自己的私有 ChatGPT。接入模型、导入文档、开始对话，三步搞定。不需要复杂配置，开箱即用。

支持的模型覆盖面很广。闭源方面有 OpenAI、Anthropic、Gemini、DeepSeek、Mistral、Groq、xAI 等。开源模型通过 Ollama、LM Studio、LocalAI 都能接入。市面上主流的 LLM 服务商基本都覆盖到了，切换模型也很方便，在后台下拉选择即可。

向量数据库默认使用 LanceDB，也支持 Pinecone、Chroma、Weaviate、Qdrant、Milvus 等。文档导入后自动做向量化处理，后续对话可以直接引用文档内容。语音转录方面内置了识别引擎，也支持 OpenAI 的 Whisper 接口。文本转语音则支持 OpenAI TTS、ElevenLabs 和本地 PiperTTS。

核心功能包括：

1. 文档对话：PDF、Word、TXT 等格式都能导入，聊天时引用文档内容并标注来源。支持拖拽上传，界面比较直观。
2. AI Agent：内置 Agent 系统，能浏览网页、执行任务。提供可视化的无代码 Agent 构建器，支持 MCP 协议，可以挂载无限数量的工具，同时通过智能工具选择减少 token 消耗。
3. 动态模型路由：根据对话内容自动选择合适的模型和提供商，路由规则可自定义，比如简单问题走便宜的模型，复杂问题走更强的模型。
4. 记忆系统：LLM 能记住你的偏好和工作区中的重要信息，跨对话保持上下文。
5. 定时任务：支持 cron 定时执行 AI 任务，具备完整的 Agent 能力，比如定期抓取网页、生成报告等。
6. 多用户支持：Docker 部署版本支持多用户，可按用户控制访问权限，适合团队使用。
7. 嵌入式聊天组件：可以把聊天窗口嵌入自己的网站，提供客制化的对外 AI 服务，同样限 Docker 版本。

技术架构上，项目采用 monorepo 结构，分为前端（Vite + React）、服务端（Node.js Express）、文档采集器、Docker 构建、网页嵌入组件、Chrome 浏览器扩展六个部分。另外还有独立的移动端 App 项目，MIT 协议开源。

部署方式比较灵活。Docker 一键部署是官方推荐的方式。也可以用 AWS、GCP、Digital Ocean、Render、Railway 等云平台的部署模板。想裸机运行的话也有 bare metal 安装文档。桌面版支持 Mac、Windows、Linux 三个平台，官网直接下载即可。本地开发也很简单，yarn setup 填好环境变量后，分别启动 server、frontend、collector 三个服务就行。

项目使用 MIT 协议，代码完全开放。

个服务就行。

项目使用 MIT 协议，代码完全开放。