openclaw+ComfyUI+Nunchaku:三合一开源文生图技术栈落地实操

想体验最新最强的开源文生图模型,但被复杂的部署流程劝退?今天,我们就来手把手带你搞定一套“三合一”的黄金组合:openclaw + ComfyUI + Nunchaku FLUX.1-dev

这个组合有多强?简单来说,它能让你在本地电脑上,用上目前开源领域最前沿的文生图模型之一——FLUX.1-dev。这个模型以生成高质量、高分辨率图像而闻名,现在通过Nunchaku团队的优化和ComfyUI的可视化界面,部署和使用的门槛大大降低。

无论你是AI绘画爱好者,还是想将先进AI能力集成到工作流中的开发者,这篇教程都将是你从零到一的完整指南。我们不讲复杂的理论,只聚焦于怎么装、怎么用、怎么出效果。准备好了吗?让我们开始吧。

1. 环境准备:打好地基

在开始安装任何软件之前,我们需要确保你的电脑环境满足基本要求。这就像盖房子前要检查地基一样,至关重要。

硬件要求(核心是显卡)

  • 显卡:必须是一块支持CUDA的NVIDIA显卡。这是运行AI模型的计算核心。
  • 显存建议强烈推荐24GB或以上显存,这样你可以流畅运行完整的FP16精度模型,获得最佳画质。如果你的显存只有8GB或12GB也别担心,我们后面会介绍量化版模型(如INT4、FP8),它们能在更小的显存下运行,只是画质可能会有轻微损失。
  • 其他:至少16GB内存,足够的硬盘空间(模型文件比较大)。

软件要求

  • 操作系统:Windows 10/11,或者Linux(如Ubuntu)。macOS暂不支持,因为依赖NVIDIA CUDA。
  • Python:需要安装Python 3.10或更高版本。这是所有AI工具的基础运行环境。
  • Git:用于从网上下载代码。如果你还没有,去官网下载安装一个。
  • PyTorch:一个重要的深度学习框架。你需要安装与你的系统和CUDA版本匹配的PyTorch。通常安装命令类似 pip install torch torchvision torchaudio,但最好去PyTorch官网根据你的情况生成准确的安装命令。

一个关键工具: 在开始前,我们先安装一个下载模型必备的小工具:

pip install --upgrade huggingface_hub

这个工具能帮你从Hugging Face(一个AI模型社区)快速下载我们需要的模型文件。

环境检查完毕,我们就可以进入正式的安装环节了。

2. 安装部署:搭建你的AI画室

我们的“画室”由两部分组成:ComfyUI可视化界面Nunchaku插件(包含后端引擎)。ComfyUI就像一个功能强大的画板,而Nunchaku插件则是专门为FLUX.1-dev模型定制的“神奇画笔”。

2.1 安装ComfyUI-nunchaku插件

安装插件有两种方法,你可以选择你觉得更顺手的一种。

方法一:使用Comfy-CLI(最简单,推荐新手) 这个方法通过命令行工具一键安装,非常省心。

# 1. 安装ComfyUI的命令行管理工具
pip install comfy-cli

# 2. 安装ComfyUI主程序(如果你已经安装过,这一步可以跳过)
comfy install

# 3. 安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku

# 4. 将插件移动到ComfyUI的正确目录(这步很关键!)
# 假设你的ComfyUI安装在默认位置,进入其目录下的custom_nodes文件夹
cd ComfyUI/custom_nodes
# 将刚安装的插件文件夹改名为nunchaku_nodes(这是约定俗成的名称,方便识别)
mv ComfyUI-nunchaku nunchaku_nodes

方法二:手动安装(更灵活,适合喜欢掌控一切的玩家) 这个方法需要你手动克隆代码库,适合已经熟悉Git操作的朋友。

# 1. 下载ComfyUI主程序
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
# 安装ComfyUI需要的所有Python依赖包
pip install -r requirements.txt

# 2. 下载Nunchaku插件
cd custom_nodes  # 进入ComfyUI的插件目录
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes

无论哪种方法,完成后,ComfyUI/custom_nodes/目录下应该会有一个名为nunchaku_nodes的文件夹,里面就是我们的插件。

2.2 安装Nunchaku后端引擎

插件是“操作界面”,后端引擎才是真正的“计算核心”。从Nunchaku插件v0.3.2版本开始,安装变得非常简单。

  1. 启动ComfyUI(我们稍后会详细讲如何启动)。
  2. 在ComfyUI的网页界面中,你应该能看到一个名为 install_wheel.json 的工作流文件(由插件提供)。
  3. 加载这个工作流并点击“运行”,它会自动为你下载和安装所需的后端wheel包。

如果自动安装不成功,你也可以根据插件文档的说明,手动安装对应的Python包。

3. 模型准备:请来“王牌画师”

插件和引擎就位,现在需要请出我们的主角——Nunchaku FLUX.1-dev模型。不过,FLUX模型是一个“组合型”画师,它需要几个助手一起工作。

3.1 配置工作流(预设画布)

为了让ComfyUI认识我们的新画师,需要把Nunchaku插件自带的一些示例“绘画流程”(工作流)复制过去。

# 进入你的ComfyUI根目录
cd ComfyUI

# 创建存放示例工作流的目录(如果不存在的话)
mkdir -p user/default/example_workflows

# 复制Nunchaku插件提供的工作流文件
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/

这样,在ComfyUI的网页界面里,你就能直接加载这些预设好的高效工作流了。

3.2 下载模型文件(请画师和助手们入场)

这是最关键的一步,需要下载四种类型的模型文件,并放到正确的“座位”(目录)上。

首先,创建正确的目录结构: 在ComfyUI/models/目录下,确保有以下子文件夹(如果没有就创建):

  • unet/ - 存放FLUX.1-dev主模型
  • loras/ - 存放LoRA模型(风格微调器)
  • text_encoders/ - 存放文本编码器(理解你的文字描述)
  • vae/ - 存放VAE模型(负责最终图像解码)

第一步:下载基础助手(文本编码器和VAE) 这两个模型是FLUX架构的标准组件,必须安装。

# 下载文本编码器(CLIP和T5),它们帮助模型理解你的文字
# 下载到 models/text_encoders 目录
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders

# 下载VAE解码器,它把模型内部的数学表示变成你看得见的图片
# 下载到 models/vae 目录
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae

提示hf命令就是我们之前安装的huggingface_hub工具。如果下载速度慢,可以考虑使用国内镜像源,或者手动从Hugging Face网站下载后放入对应目录。

第二步:下载王牌画师本人(Nunchaku FLUX.1-dev主模型) 这是核心模型,有不同的“工作强度”(量化版本)可选,请根据你的显卡显存对号入座:

  • INT4模型:适用于大多数NVIDIA显卡(RTX 20/30/40系列),在保持较好质量的同时显著降低显存占用。
  • FP4模型:专为最新的Blackwell架构显卡(如RTX 50系列)优化。
  • FP8模型:如果你显存比较紧张(比如12GB),可以选择这个版本,它是精度和显存占用的平衡点。

这里以最通用的INT4模型为例:

# 下载INT4量化版的主模型到 models/unet/ 目录
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/

第三步(可选):下载风格微调器(LoRA) LoRA就像给画师不同的“滤镜”或“风格指南”,可以显著改变出图风格。Nunchaku推荐使用 FLUX.1-Turbo-Alpha 这个LoRA,它能加快生成速度并可能提升某些场景的效果。

# 将下载的LoRA模型文件放入 models/loras/ 目录
# 你需要根据LoRA的具体下载链接来操作,例如:
# 假设你从网上下载了 `flux.1-turbo-alpha.safetensors`,直接把它放进 models/loras/ 文件夹即可。

至此,所有模型文件应该各就各位。你可以检查一下ComfyUI/models/目录,结构大致如下:

models/
├── unet/
│   └── svdq-int4_r32-flux.1-dev.safetensors
├── loras/
│   └── flux.1-turbo-alpha.safetensors (可选)
├── text_encoders/
│   ├── clip_l.safetensors
│   └── t5xxl_fp16.safetensors
└── vae/
    └── ae.safetensors

4. 启动与创作:画出你的第一张AI作品

万事俱备,只欠东风。让我们启动ComfyUI,开始真正的创作。

4.1 启动ComfyUI服务

打开命令行终端,进入你的ComfyUI根目录,然后运行:

python main.py

如果一切顺利,你会看到一些启动日志,最后通常会显示一行类似 “Running on local URL: http://127.0.0.1:8188” 的信息。

现在,打开你的网页浏览器(比如Chrome),在地址栏输入 http://127.0.0.1:8188,回车。恭喜,你已经进入了ComfyUI的可视化操作界面!

4.2 加载Nunchaku FLUX.1-dev工作流

ComfyUI的界面可能初看有些复杂,但别担心,我们使用预设好的工作流就很简单。

  1. 在网页界面右侧,找到 “Load” (加载)按钮。
  2. 点击后,在弹出的对话框中,你应该能导航到 ComfyUI/user/default/example_workflows/ 这个路径。
  3. 选择名为 nunchaku-flux.1-dev.json 的文件并打开。

瞬间,画布上会出现许多连线的方块(节点),这就是一个完整的文生图流水线。这个预设工作流已经帮我们连接好了FLUX.1-dev模型、文本编码器、VAE,并预留了LoRA的位置,开箱即用。

4.3 设置参数并生成图片

现在到了最有趣的环节——输入描述,让AI作画。

  1. 输入提示词:在工作流中,找到一个标有 “Positive Prompt” 的节点(通常是一个大的文本输入框)。在这里用英文描述你想要画面。FLUX模型对英文提示词响应更好。

    • 试试这个A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K (一个带有山川湖泊的美丽风景,超高清,写实风格,8K分辨率)
    • 再试试这个A cute cartoon cat wearing a spacesuit, floating among stars, Pixar style (一只穿着宇航服的可爱卡通猫,漂浮在星星中,皮克斯风格)
  2. 调整基本参数(可选)

    • 推理步数(Steps):一般设置在20-50之间。步数越多,细节可能越丰富,但生成时间也更长。如果使用了FLUX.1-Turbo-Alpha LoRA,可以适当减少步数。
    • 分辨率:找到Empty Latent Image节点,可以设置图片的宽高。例如1024x1024。注意,分辨率越高,显存占用越大。
    • LoRA权重:如果你加载了LoRA,可以调整其权重(通常0.5-1.0),控制风格影响的强度。
  3. 点击生成:在界面上找到大大的 “Queue Prompt” 按钮,点击它! 系统开始运行,你会看到节点边框亮起,表示数据正在流动。稍等片刻(时间取决于你的显卡和步数),生成的图片就会出现在右边的预览区域。

成功了! 你的第一张由开源最强文生图模型之一生成的图片诞生了。你可以尝试不同的提示词,探索模型的潜力。

5. 关键技巧与避坑指南

为了让你的体验更顺畅,这里总结几个最重要的注意事项:

  1. 模型路径绝对不能错:这是最常见的问题。务必确认FLUX.1-dev主模型在models/unet/,LoRA在models/loras/,文本编码器在models/text_encoders/,VAE在models/vae/。放错位置ComfyUI就找不到。
  2. 显存不足怎么办
    • 首选:使用INT4或FP8量化版的主模型,而不是完整的FP16版。
    • 其次:在生成时降低输出分辨率(如从1024x1024降到768x768)。
    • 最后:减少批量大小(Batch Size)推理步数(Steps)
  3. 生成速度慢:除了升级硬件,可以尝试启用FLUX.1-Turbo-Alpha LoRA,它能在一定程度上加速生成过程。
  4. 工作流节点报错:如果加载工作流时提示缺少某个节点(如KSampler等),说明你的ComfyUI缺少对应的自定义节点。可以通过安装 ComfyUI Manager 这个管理插件,来方便地搜索和安装缺失节点。
  5. 关于推理步数:如果你决定不使用 FLUX.1-Turbo-Alpha LoRA,请务必将推理步数调整到20步以上,否则生成的图片质量可能会非常不理想。

6. 总结

走完这一整套流程,你已经成功搭建了一个基于当前顶尖开源技术的本地文生图平台。回顾一下我们的“三合一”技术栈:

  • openclaw:提供了获取和部署AI应用的整体思路与资源。
  • ComfyUI:给予了我们强大、灵活且可视化的操作界面。
  • Nunchaku FLUX.1-dev:带来了接近行业前沿的图像生成质量。

这套组合的优势在于完全开源、可本地部署、高度定制化。你可以不受网络限制地尽情创作,也可以深入研究ComfyUI的工作流,将其集成到更复杂的自动化生产管线中。

当然,这只是一个开始。ComfyUI的节点生态系统极其丰富,你可以添加ControlNet(姿势控制)、IP-Adapter(图像风格参考)、各种 Upscaler(高清修复)等节点,打造属于你自己的终极AI绘画工作站。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐