quick-start

一、运行说明

ubuntu 22.04 系统下运行

# 解压
tar -xf omni-note-linux-x64.tar.xz

1 准备 instance 运行时数据

启动前需准备好 instance/ 运行时数据（配置、模型、工具、字体、PPT 模板、研究输出目录等）。统一的数据准备步骤见 数据准备。

2 启动笔记 server

chmod a+x ./OmniNote

./OmniNote

参考输出：

2025-09-14 00:10:44,249 - mcp_manager.py - 141 - INFO - Initializing MCP tools from mcp servers: ['12306-mcp']
2025-09-14 00:10:44,249 - mcp_manager.py - 338 - INFO - 12306-mcp sse_read_timeout: 300s
2025-09-14 00:10:51,174 - mcp_manager.py - 141 - INFO - Initializing MCP tools from mcp servers: ['weather']
2025-09-14 00:10:51,175 - mcp_manager.py - 370 - INFO - Initializing a MCP stdio_client, if this takes forever, please check the config of this mcp server: weather
🌤️ 天气MCP服务器已启动
📋 可用工具:
  - get-weather-by-address: 根据地址获取天气
  - get-forecast-by-address: 根据地址获取天气预报
  - get-current-location-weather: 获取当前位置天气
  - get-current-location-forecast: 获取当前位置天气预报
  - get-weather-by-coordinates: 根据坐标获取天气
  - geocode-address: 地址解析
📚 可用资源:
  - weather://status: 服务状态
🎯 可用提示:
  - weather-assistant: 天气查询助手
2025-09-14 00:10:51,687 - mcp_manager.py - 141 - INFO - Initializing MCP tools from mcp servers: ['excel']
2025-09-14 00:10:51,696 - mcp_manager.py - 370 - INFO - Initializing a MCP stdio_client, if this takes forever, please check the config of this mcp server: excel
INFO:     Started server process [7610]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:7000 (Press CTRL+C to quit)

3 启动模型服务 model_server

一键启动所有服务：

./run.sh start

统一接口适配行业主流模型API服务，无缝集成现有生态:

模型服务脚本	说明	工具	标准化API兼容
vlm_server.sh	视觉语言模型服务	llama.cpp	OpenAI API格式
ebd_server.sh	嵌入模型服务	llama.cpp	OpenAI Embedding API格式
rnk_server.sh	重排模型服务	llama.cpp	Jina AI Rerank API格式
ad_server.sh	语音识别模型服务	Funasr	FUNASR API格式
img_server.sh	图像生成模型服务	stable-diffusion.cpp	stable-diffusion.cpp API格式

如果不使用model_server ，可以通过配置 instance/config.py 文件 指定 其它模型API服务，按照上面的标准化API兼容格式！！！

4 打开笔记UI

浏览器访问 http://localhost:7000

5 初次使用

• 1 运行软件注册登录
• 2 登录之后到设置页面:
  数据备份与恢复:
  导入备份: 导入示例笔记 omni-note_demo.omnibak
  输入密码: 123456

二、配置说明

说明	路径
实例文件夹	instance/
配置路径	instance/config.py
音频路径	instance/audios/
图片路径	instance/uploads/
模型路径	instance/models/
工具路径	instance/tools/
写作模板	instance/templates/
字体路径	instance/fonts/
PPT模板	instance/ppt_templates/
研究输出	instance/research_out/
知识库	instance/knowledge_base/

MODEL_CONFIGS = {
    'LLM': {
        'model': "你的LLM模型名称",
        'model_server': "模型服务地址",
        'api_key': "模型API_KEY"
    },
    'VLM': {
        'model': "你的VLM模型名称",
        'model_server': "VLM模型服务地址",
        'api_key': "VLM模型API_KEY"
    }
}

1 下载使用 model_server 中的模型

• 1 vlm_server.sh 视觉语言模型服务，基于 llama.cpp
  https://www.modelscope.cn/models/unsloth/Qwen3.5-4B-GGUF/
  下载 Qwen3.5-4B-Q4_K_M.gguf mmproj-BF16.gguf
  放在 instance/models/Qwen3.5-4B-GGUF/ 目录下

• 2 embeddings_server.sh 嵌入模型服务，基于 llama.cpp
  下载地址：https://www.modelscope.cn/models/Qwen/Qwen3-Embedding-0.6B-GGUF
  放在 instance/models/Qwen3-Embedding-0.6B-GGUF/ 目录下

• 3 reranker_server.sh 重排模型服务，基于 llama.cpp
  下载地址：https://www.modelscope.cn/models/ggml-org/Qwen3-Reranker-0.6B-Q8_0-GGUF
  放在 instance/models/Qwen3-Reranker-0.6B-GGUF/ 目录下

• 4 img_server.sh 图像生成模型服务，基于 stable-diffusion.cpp
  这里使用tiny-sd模型，下载地址：https://www.modelscope.cn/models/TuringEvo/tiny-sd-gguf
  放在 instance/models/tiny-sd-gguf/ 目录下

• 5 audio_server.sh 语音识别模型服务, 基于 Funasr
  下载以下表格的模型文件，放在 instance/models/funasr_model

  说明	模型名称
  FSMN语音端点检测-中文-通用-16k-onnx	iic/speech_fsmn_vad_zh-cn-16k-common-onnx
  Paraformer语音识别-中文-通用-16k-离线-large-长音频版-onnx	iic/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-onnx
  Paraformer语音识别-中文-通用-16k-实时-large-onnx	iic/speech_paraformer-large_asr_nat-zh-cn-16k-common-vocab8404-online-onnx
  CT-Transformer标点-中文-通用-实时-onnx	iic/punc_ct-transformer_zh-cn-common-vad_realtime-vocab272727-onnx
  Ngram语言模型-中文-ai-wesp-fst	iic/speech_ngram_lm_zh-cn-ai-wesp-fst
  基于FST的中文ITN	thuduj12/fst_itn_zh

  必须等待命令行界面出现 listen on port: 10095 ,才能使用

2 下载安装推理工具

链接	安装路径
llama.cpp	instance/tools/llamacpp
stable-diffusion.cpp	instance/tools/stable-diffusion-cpp
FunASR	instance/tools/asr

自行编译 FunASR websocket 文档

（可选）如果不用model_server，配置外部API

配置 instance/config.py 文件
常用的模型服务商 API 地址如下：

模型服务商	API 地址	说明
ModelScope	https://api-inference.modelscope.cn/v1	国内推理服务
DashScope	https://dashscope.aliyuncs.com/compatible-mode/v1	通义千问系列
火山引擎	https://ark.cn-beijing.volces.com/api/v3	豆包等模型
OpenAI	https://api.openai.com/v1	GPT系列
Azure	https://{resource}.openai.azure.com/openai/deployments/{deployment_name}?api-version={api_version}	企业级部署
Anthropic	https://api.anthropic.com/v1	Claude 系列
Google	https://generativelanguage.googleapis.com/v1beta	Gemini 系列
Together AI	https://api.together.xyz/v1	开源模型聚合
Mistral	https://api.mistral.ai/v1	Mistral 系列

三、使用说明

AI对话框

编辑器任意位置点击，鼠标悬停在小方块上，弹出对话框，点击每一项的 ？ 获取使用说明

1 文本生成

2 视觉识别

3 看图作文

4 文生图

5 语音识别

确保配置 instance/config.py 文件 指定正确的语音识别模型服务

6 笔记知识库

1 确保配置 instance/config.py 文件 指定正确的嵌入和重排序模型服务

2 切换到 知识库页面

3 安装之后，首次使用需要先 构建知识库 ，会弹窗显示成功,然后再问答

4 对话框中输出需要查找的内容

7 MCP智能体

网上查找，安装各种MCP，安装完成需要重启程序:
https://www.modelscope.cn/mcp
https://github.com/search?q=mcp&type=repositories

示例：

文件名	下载地址
12306-mcp	https://github.com/Joooook/12306-mcp
excel-mcp-server	https://github.com/haris-musa/excel-mcp-server
open-meteo-weather	https://github.com/alchaincyf/mcp

安装到路径 instance\mcps 下,保持文件名正确

需要编译然后安装到本地

• 12306-mcp

cd instance/mcps/12306-mcp

# 安装依赖
npm install

# 编译 TypeScript
npm run build

# 运行（stdio 模式）
# npx -y 12306-mcp

---

• excel-mcp-server

cd instance/mcps/excel-mcp-server

# 创建虚拟环境
uv venv

# Windows：
#.venv\Scripts\activate
# Mac/Linux：
source .venv/bin/activate

# 安装依赖
uv pip install -e .

# 运行
#excel-mcp-server stdio

---

• open-meteo-weather

cd instance/mcps/open-meteo-weather

# 安装依赖
npm install

# 编译 TypeScript
npm run build

# 运行
#node dist/index.js

# 或开发模式（自动重编译）
#npm run dev

可以配置多种智能体，修改 instance/config.py 文件：

    AGENTS_LLM = {#https://www.modelscope.cn/models/Qwen/Qwen3.5-35B-A3B
        "model": "Qwen/Qwen3.5-35B-A3B",
        "model_server": "https://api-inference.modelscope.cn/v1",
        "api_key": "<你的API_KEY>",
    }

    AGENTS = [

        { # https://github.com/Joooook/12306-mcp
            "mcpServers": {
                "12306-mcp": {
                    "command": "node",
                    "args": [f"{MCP_FOLDER}/12306-mcp/build/index.js"]
                }
            }
        },

        {
            "mcpServers": {#https://github.com/alchaincyf/mcp
                "weather": {
                    "command": "node",
                    "args": [f"{MCP_FOLDER}/open-meteo-weather/dist/index.js"]
                }
            }
        },

        {
            "mcpServers": {#https://github.com/haris-musa/excel-mcp-server
                "excel": {
                    "command": "uv",
                    "args": [
                        "run",
                        "--directory",
                        f"{MCP_FOLDER}/excel-mcp-server",
                        "excel-mcp-server",
                        "stdio"
                    ]
                }
            }
        },

    ]

切换到 智能体助手 页面，输入指令，自动调度智能体完成工作

感谢您的使用