openclaw开源生态:Nunchaku FLUX.1-dev与ComfyUI-Manager深度整合

想用最新的FLUX.1-dev模型生成惊艳图片,却被复杂的部署流程劝退?今天,我来带你体验一个“开箱即用”的解决方案——通过ComfyUI-Manager,一键整合Nunchaku FLUX.1-dev模型,让你在熟悉的ComfyUI界面里,轻松玩转这个强大的文生图模型。

无论你是ComfyUI的老用户,还是刚接触AI绘画的新手,这套方案都能让你在10分钟内完成环境搭建,开始创作。下面,我就手把手带你走一遍完整的安装和使用流程。

1. 环境准备:确保你的电脑“跑得动”

在开始之前,先确认你的电脑硬件和软件环境能满足基本要求。这就像开车前要检查油量一样,准备工作做得好,后面才能一路顺畅。

1.1 硬件要求

  • 显卡:需要NVIDIA显卡,并且支持CUDA。这是运行AI模型的核心。
  • 显存:建议24GB或以上。如果显存不足(比如只有8GB或12GB),也不用担心,后面我会告诉你怎么选择占用显存更少的“轻量版”模型。
  • 其他:内存建议16GB以上,硬盘空间至少预留50GB用于存放模型文件。

1.2 软件要求

  • Python:版本需要3.10或更高。这是运行ComfyUI的基础环境。
  • Git:用于从网上下载代码和插件。
  • PyTorch:需要安装与你的系统和显卡匹配的版本(比如torch 2.7、2.8或2.9)。

如果你不确定自己的环境是否满足,可以打开命令行(Windows叫命令提示符或PowerShell,Mac/Linux叫终端),输入以下命令查看:

# 查看Python版本
python --version

# 查看显卡信息(Windows)
nvidia-smi

# 查看显卡信息(Linux/Mac)
# 需要先安装相关工具

2. 安装部署:两步搞定所有环境

准备好了基础环境,接下来就是安装ComfyUI和Nunchaku插件。这里我提供两种方法,你可以根据自己的情况选择。

2.1 方法一:用Comfy-CLI一键安装(推荐新手)

如果你希望用最简单的方式完成安装,这个方法最适合你。Comfy-CLI是一个命令行工具,能帮你自动处理很多繁琐的步骤。

# 第一步:安装Comfy-CLI工具
pip install comfy-cli

# 第二步:安装ComfyUI(如果已经安装过,可以跳过)
comfy install

# 第三步:安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku

# 第四步:移动插件到正确位置
mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes

这几行命令执行完后,ComfyUI和Nunchaku插件就都安装好了。整个过程基本是自动的,你只需要等待它完成即可。

2.2 方法二:手动安装(适合喜欢控制的用户)

如果你对ComfyUI比较熟悉,或者想要更灵活地控制安装过程,可以用手动安装的方式。

# 第一步:下载ComfyUI的代码
git clone https://github.com/comfyanonymous/ComfyUI.git

# 第二步:进入ComfyUI文件夹
cd ComfyUI

# 第三步:安装ComfyUI需要的各种软件包
pip install -r requirements.txt

# 第四步:进入自定义插件目录
cd custom_nodes

# 第五步:下载Nunchaku插件
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes

手动安装的好处是每一步你都能看到发生了什么,如果某一步出错,也更容易排查问题。

2.3 安装Nunchaku后端

从v0.3.2版本开始,Nunchaku插件增加了一个很贴心的功能——一键安装后端。安装完插件后,你会在ComfyUI里看到一个install_wheel.json文件,运行它就能自动安装或更新所需的后端组件。

这个步骤通常会自动完成,如果遇到问题,可以检查插件的文档或社区讨论。

3. 模型准备:下载需要的“素材库”

插件安装好了,就像买好了画板和画笔,现在需要准备“颜料”——也就是模型文件。FLUX.1-dev模型需要几个不同的文件配合工作,我会告诉你每个文件的作用和下载方法。

3.1 配置工作流示例

首先,让我们把Nunchaku自带的工作流示例复制到ComfyUI能识别的位置:

# 进入ComfyUI的主文件夹
cd ComfyUI

# 创建工作流目录(如果不存在的话)
mkdir -p user/default/example_workflows

# 复制Nunchaku的工作流示例
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/

这些工作流文件就像是预设好的“配方”,告诉你如何组合不同的节点来生成图片。复制过去后,你在ComfyUI的网页界面里就能直接加载使用。

3.2 下载基础FLUX模型(必须下载)

FLUX.1-dev模型需要一些基础组件才能正常工作,主要是文本编码器和VAE模型。文本编码器负责理解你输入的文字描述,VAE负责把模型生成的数字信号转换成真正的图片。

# 下载文本编码器模型(放在models/text_encoders文件夹)
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders

# 下载VAE模型(放在models/vae文件夹)
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae

如果你已经通过其他方式下载了这些模型,也可以手动创建链接。比如,你的模型文件可能放在这样的位置:

# 文本编码器模型的位置
~/ComfyUI/models/text_encoders/
├── clip_l.safetensors -> /root/.cache/huggingface/FLUX.1-dev/text_encoders/clip_l.safetensors
└── t5xxl_fp16.safetensors -> /root/.cache/huggingface/FLUX.1-dev/text_encoders/t5xxl_fp16.safetensors

# VAE模型的位置
~/ComfyUI/models/vae/
└── ae.safetensors -> /root/.cache/huggingface/FLUX.1-dev/vae/ae.safetensors

3.3 下载Nunchaku FLUX.1-dev主模型(核心文件)

这是最重要的部分——FLUX.1-dev模型本身。根据你的显卡型号和显存大小,需要选择不同的版本:

  • Blackwell显卡(如RTX 50系列):使用FP4版本
  • 其他NVIDIA显卡:使用INT4版本
  • 显存不足的用户:可以选择FP8版本,占用显存更少
# 下载INT4版本的主模型(适合大多数显卡)
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/

下载后,模型文件应该放在models/unet/目录下。如果你手动管理模型,目录结构可能是这样的:

~/ComfyUI/models/unet/
└── svdq-int4_r32-flux.1-dev.safetensors -> /root/ai-models/comfyanonymous/unet/svdq-int4_r32-flux.1-dev.safetensors

3.4 可选:下载LoRA模型(让效果更好)

LoRA是一种“微调”模型,可以让生成的图片有特定的风格或效果。Nunchaku FLUX.1-dev支持同时使用多个LoRA,这是它的一大特色。

常用的LoRA模型包括:

  • FLUX.1-Turbo-Alpha:加速生成速度
  • Ghibsky Illustration:吉卜力动画风格
  • 其他各种风格化LoRA
# LoRA模型放在models/loras目录下
# 你可以下载多个LoRA,按需使用

如果你已经有一些LoRA模型,目录可能长这样:

~/ComfyUI/models/loras/
├── diffusion_pytorch_model.safetensors -> /root/ai-models/comfyanonymous/diffusion/diffusion_pytorch_model.safetensors
└── lora_v2.safetensors -> /root/ai-models/comfyanonymous/lora/lora_v2.safetensors

4. 开始创作:在ComfyUI中生成你的第一张图片

所有准备工作都完成了,现在让我们启动ComfyUI,开始真正的创作过程。

4.1 启动ComfyUI

打开命令行,进入ComfyUI的文件夹,然后运行:

# 在ComfyUI根目录执行
python main.py

看到类似下面的输出,就说明启动成功了:

Starting server
To see the GUI go to: http://127.0.0.1:8188

在浏览器中打开这个地址(通常是http://127.0.0.1:8188),就能看到ComfyUI的网页界面了。

4.2 加载Nunchaku FLUX.1-dev工作流

ComfyUI启动后,我们需要加载专门为FLUX.1-dev设计的工作流。这里我推荐使用nunchaku-flux.1-dev.json,因为它支持多LoRA,生成效果最好。

在ComfyUI界面中:

  1. 点击右上角的“Load”按钮
  2. 选择default/example_workflows目录
  3. 找到并加载nunchaku-flux.1-dev.json文件

加载成功后,你会看到一个已经配置好的工作流界面,各种节点都连接好了,基本上只需要输入提示词就能开始生成。

Nunchaku FLUX.1-dev工作流界面

上图展示了加载后的工作流界面,所有节点都已正确连接。

4.3 设置参数并生成图片

现在到了最有趣的部分——输入你的创意描述,让AI帮你画出来。

第一步:输入提示词

在工作流中找到“提示词输入框”(通常标有“Positive Prompt”或类似字样)。FLUX模型对英文提示词的支持更好,所以建议用英文描述你想要的画面。

比如,你可以输入:

  • A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K(美丽的山水风景,超高清,写实风格,8K分辨率)
  • A cute cartoon cat wearing a hat, studio ghibli style(戴着帽子的可爱卡通猫,吉卜力风格)
  • Cyberpunk city at night, neon lights, rain, cinematic(夜晚的赛博朋克城市,霓虹灯,下雨,电影感)

提示词输入区域

提示词输入框的位置,在这里描述你想要的画面。

第二步:调整参数(可选)

如果你想要更精细的控制,可以调整这些参数:

  • 推理步数:一般20-50步,步数越多细节越好,但时间也更长
  • 分辨率:默认是1024x1024,显存不够可以降低到768x768或512x512
  • LoRA权重:如果使用了LoRA,可以调整它的影响强度(通常0.5-1.0)
  • 采样器:不同的采样器会影响生成效果,可以多试试看哪个更适合你的需求

第三步:生成图片

点击界面上的“Queue Prompt”或“Run”按钮,ComfyUI就会开始处理你的请求。第一次运行可能会慢一些,因为需要加载模型到显存中。

生成过程中,你可以看到进度条和预估剩余时间。完成后,图片会显示在右侧的预览区域。

生成结果预览

生成完成的图片会在这里显示,你可以保存或继续调整。

5. 使用技巧与注意事项

掌握了基本操作后,再来看看一些能让你用得更好的技巧和需要注意的地方。

5.1 模型文件存放位置很重要

不同的模型文件要放在正确的目录下,否则ComfyUI找不到它们:

文件类型 存放目录 作用
FLUX.1-dev主模型 models/unet/ 核心生成模型
LoRA模型 models/loras/ 风格微调模型
文本编码器 models/text_encoders/ 理解文字描述
VAE模型 models/vae/ 生成最终图片

如果加载模型时出错,第一件事就是检查文件是否放对了位置。

5.2 根据显存选择合适版本

FLUX.1-dev模型有不同的“量化版本”,占用显存不同:

  • FP16版本:约33GB显存,效果最好,但需要高端显卡
  • FP8版本:约17GB显存,效果接近FP16,显存占用少一半
  • INT4/FP4版本:显存占用更少,适合显存有限的用户

如果你的显卡显存不足,生成时可能会报错“CUDA out of memory”。这时候可以:

  1. 降低生成图片的分辨率
  2. 使用INT4或FP4版本的模型
  3. 关闭一些占用显存的功能(如高清修复)

5.3 显卡兼容性

  • Blackwell架构显卡(如RTX 50系列):只能使用FP4版本的模型
  • 其他NVIDIA显卡:优先使用INT4版本,兼容性最好
  • AMD显卡:目前支持有限,可能需要额外配置

如果你不确定自己的显卡型号,可以在命令行输入nvidia-smi查看。

5.4 工作流依赖问题

有时候加载工作流会提示“缺少节点”,这通常是因为没有安装对应的自定义节点。这时候可以:

  1. 通过ComfyUI-Manager安装缺失的节点
  2. 或者手动下载并安装对应的节点插件
  3. 检查工作流中是否有不兼容的节点,暂时禁用它们

ComfyUI-Manager是管理插件的神器,建议安装它来方便地管理所有扩展。

5.5 推理步数设置

如果你使用了FLUX.1-Turbo-Alpha这个LoRA,推理步数可以设置得低一些(比如10-15步),因为它能加速生成过程。

但如果你关闭了这个LoRA,推理步数不能低于20步,否则生成的图片质量会明显下降。这是因为FLUX.1-dev模型需要足够的步骤来“思考”和“绘制”细节。

6. 总结

通过ComfyUI-Manager整合Nunchaku FLUX.1-dev,我们获得了一个强大且易用的AI绘画工作流。整个过程可以总结为几个关键步骤:

  1. 环境准备:检查硬件和软件是否满足要求
  2. 安装部署:用Comfy-CLI或手动方式安装ComfyUI和Nunchaku插件
  3. 模型准备:下载基础模型、主模型和可选的LoRA模型
  4. 启动使用:加载工作流,输入提示词,调整参数,生成图片

这套方案的最大优势是开箱即用——所有复杂的配置都已经预先做好,你只需要关注创意本身。无论是想生成写实的风景、动漫风格的角色,还是抽象的艺术作品,FLUX.1-dev都能提供出色的效果。

如果你在过程中遇到问题,记得检查模型文件的位置、显存是否足够、参数设置是否合理。大多数问题都能通过调整这些方面解决。

现在,你已经掌握了在ComfyUI中使用Nunchaku FLUX.1-dev的全部技能。打开ComfyUI,输入你的创意,开始探索AI绘画的无限可能吧!


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐