openclaw技术博文:Nunchaku FLUX.1-dev ComfyUI自定义节点开发入门
openclaw技术博文:Nunchaku FLUX.1-dev ComfyUI自定义节点开发入门
1. 引言:为什么你需要关注Nunchaku FLUX.1-dev?
如果你正在寻找一款能生成高质量、高分辨率图片的AI模型,并且希望它能无缝集成到ComfyUI这个强大的可视化工作流工具里,那么Nunchaku FLUX.1-dev绝对值得你花时间了解一下。
简单来说,Nunchaku FLUX.1-dev是基于FLUX.1架构的一个优化版本,专门为ComfyUI环境做了适配。它最大的特点就是能在保持出色画质的同时,通过量化技术大幅降低对显卡显存的要求。这意味着,即使你没有顶级的专业显卡,也能尝试运行这个模型来生成令人惊艳的图片。
这篇文章,我会手把手带你完成从零开始,在ComfyUI里安装、配置并运行Nunchaku FLUX.1-dev模型的全过程。无论你是刚接触AI绘画的新手,还是想为你的ComfyUI工具箱添加新武器的老玩家,这篇指南都能帮你快速上手。
2. 环境准备:搭建你的创作舞台
在开始安装之前,我们需要确保你的电脑环境已经准备就绪。这就像盖房子前要打好地基一样,基础打好了,后面的步骤才会顺畅。
2.1 硬件要求
首先来看看你的显卡。Nunchaku FLUX.1-dev对显卡有一定要求,但好消息是它提供了不同版本,可以适配多种硬件:
- 推荐配置:拥有24GB或以上显存的NVIDIA显卡。如果你用的是RTX 4090这类高端卡,可以流畅运行FP16(全精度)版本,获得最好的画质。
- 主流配置:如果你的显卡显存在8GB到16GB之间(比如RTX 4060 Ti 16GB或RTX 4070 Ti Super),可以选择INT4量化版本,它在保证不错画质的同时,显存占用更友好。
- 入门配置:对于显存更小的显卡(如8GB),可以考虑FP8量化版本,它能在有限的显存下运行,是体验该模型的入门选择。
- 特殊注意:如果你使用的是最新的Blackwell架构显卡(如未来的RTX 50系列),需要选择专门的FP4版本模型。
简单来说,先看看你的显卡显存有多大,然后对号入座选择对应的模型版本就行。
2.2 软件环境
软件方面需要准备这几样东西:
- Python 3.10或更高版本:这是运行AI模型的基础环境。你可以在命令行输入
python --version来查看当前版本。 - Git:用于从代码仓库下载必要的插件和工具。大部分系统都自带,如果没有,去Git官网下载安装一个也很简单。
- PyTorch:这是深度学习框架,需要安装与你的系统和CUDA版本匹配的PyTorch。如果你不确定该装哪个,可以去PyTorch官网,它会根据你的情况给出安装命令。
- huggingface_hub:一个用于从Hugging Face平台下载模型文件的工具库。安装命令很简单,在命令行里输入下面这行就行:
pip install --upgrade huggingface_hub
环境检查就这些,都不复杂。确认好这些后,我们就可以进入下一步了。
3. 安装部署:把Nunchaku插件请进ComfyUI
现在我们要把Nunchaku FLUX.1-dev的“操作面板”——也就是ComfyUI插件——安装到你的ComfyUI里。我提供两种方法,你可以选一个你觉得顺手的。
3.1 方法一:用Comfy-CLI一键安装(推荐给新手)
如果你喜欢简单快捷,不想折腾,这个方法最适合你。Comfy-CLI是一个命令行工具,能帮你自动化很多安装步骤。
首先,安装这个CLI工具:
pip install comfy-cli
然后,用它来安装ComfyUI本体(如果你已经装过ComfyUI,这一步可以跳过):
comfy install
最关键的一步,安装Nunchaku插件:
comfy noderegistry-install ComfyUI-nunchaku
安装完成后,你需要把插件移动到ComfyUI的正确目录里。找到刚才下载的ComfyUI-nunchaku文件夹,把它移动到ComfyUI/custom_nodes/目录下,并重命名为nunchaku_nodes。
这样就完成了!这个方法省去了手动克隆仓库、解决依赖的麻烦,特别适合不想在环境配置上花太多时间的朋友。
3.2 方法二:手动安装(适合喜欢掌控一切的你)
如果你更习惯传统的安装方式,或者想自定义一些设置,可以按照下面的步骤手动操作。
首先,如果你还没有ComfyUI,需要先把它下载下来:
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt
进入ComfyUI的custom_nodes目录,这是所有第三方插件存放的地方:
cd custom_nodes
然后,直接把Nunchaku插件的代码仓库克隆到这里:
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes
手动安装的好处是每一步你都看得见,如果中途出了问题,也更容易定位和解决。
3.3 安装Nunchaku后端
无论你用哪种方法安装了插件,最后都需要安装Nunchaku的后端程序。从v0.3.2版本开始,这个过程变得非常简单。
插件安装完成后,在ComfyUI的网页界面里,你应该能看到一个名为install_wheel.json的工作流文件。加载并运行这个工作流,它就会自动帮你下载和安装所需的后端wheel包。这是最省事的方法,避免了手动处理Python依赖的麻烦。
4. 模型准备:下载AI画师的核心“大脑”
插件装好了,相当于我们有了操作台。现在需要把真正的“画师”——模型文件请过来。Nunchaku FLUX.1-dev的运行需要几个不同的模型文件协同工作。
4.1 配置示例工作流
为了让使用更直观,Nunchaku插件自带了一些预设的工作流示例。我们需要把它们复制到ComfyUI能识别的位置。
打开命令行,进入你的ComfyUI根目录,然后执行:
# 创建存放示例工作流的目录
mkdir -p user/default/example_workflows
# 复制Nunchaku插件自带的工作流文件
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/
这样操作后,当你启动ComfyUI,就能在网页界面里直接加载这些预设的工作流,省去了从零搭建的麻烦。
4.2 下载基础FLUX模型(必装)
Nunchaku FLUX.1-dev需要一些基础模型组件才能工作,主要是文本编码器和VAE(变分自编码器)。这些模型负责理解你的文字描述,以及最终解码生成图片。
使用我们之前安装的huggingface_hub工具来下载,命令会自动把文件放到正确的目录:
# 下载文本编码器模型,它们能理解你输入的文字
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders
# 下载VAE模型,它负责把AI生成的“概念”变成最终的像素图片
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae
如果你之前已经通过其他方式下载过这些模型,也可以手动创建符号链接。比如,检查你的models/text_encoders目录,如果里面已经有指向缓存文件的链接,就不用重复下载了。
4.3 下载核心的Nunchaku FLUX.1-dev模型
这是最重要的部分,也就是模型的主干。你需要根据之前对显卡显存的评估,选择对应的版本。
对于大多数NVIDIA显卡(非Blackwell架构),INT4版本是个平衡画质和显存的好选择:
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/
下载完成后,这个文件应该放在ComfyUI/models/unet/目录下。这个“unet”是模型的核心神经网络部分。
4.4 可选:下载LoRA模型来增强效果
LoRA可以理解为模型的“风格插件”或“技能包”。加载不同的LoRA,可以让模型生成特定风格或质量的图片。Nunchaku FLUX.1-dev常用的一个LoRA是FLUX.1-Turbo-Alpha,它能显著提升生成速度。
你可以从Hugging Face或ModelScope平台搜索并下载需要的LoRA文件,然后把它们放在ComfyUI/models/loras/目录下。在工作流中,你可以选择加载一个或多个LoRA,并通过调整权重来控制它们对最终效果的影响程度。
5. 启动与使用:让你的AI画师开始工作
一切准备就绪,现在让我们启动ComfyUI,看看怎么用这个强大的工具来生成图片。
5.1 启动ComfyUI
回到ComfyUI的根目录,用Python启动它:
python main.py
如果一切正常,命令行会显示服务启动的日志,并告诉你访问地址(通常是http://127.0.0.1:8188)。在浏览器中打开这个地址,你就看到了ComfyUI的网页操作界面。
5.2 加载Nunchaku FLUX.1-dev工作流
在ComfyUI界面中,点击菜单栏的“Load”按钮,然后找到并加载我们之前复制的示例工作流。对于文生图任务,我推荐使用nunchaku-flux.1-dev.json这个工作流。
这个工作流已经预配置好了所有必要的节点和连接,特别优化了文生图效果,并且支持同时加载多个LoRA模型。你只需要关注输入和调整参数即可。
这里有个重要提示:这个工作流默认启用了FLUX.1-Turbo-Alpha LoRA来加速生成。如果你在后续使用中关闭了这个LoRA,记得要把“推理步数”这个参数调到至少20步,否则生成的图片质量可能会下降。
5.3 设置参数并生成你的第一张图片
工作流加载后,你会看到画布上有很多方框(节点)和连接线。别被吓到,我们只需要关注几个关键地方:
-
找到提示词输入框:通常是一个写着“Positive Prompt”的节点。在这里,用英文描述你想要生成的画面。FLUX模型对英文的理解和响应通常更好。例如,你可以输入:
A serene Japanese garden in autumn, maple leaves falling into a koi pond, photorealistic, 8K resolution, detailed reflections。 -
调整基本参数:
- 推理步数(Steps):控制AI“思考”的细致程度,一般20-50步之间,步数越多细节越丰富,但耗时也越长。
- 分辨率(Resolution):比如1024x1024。如果你的显存紧张,可以适当降低分辨率。
- 采样器(Sampler)和调度器(Scheduler):工作流通常有推荐设置,初学者可以保持默认。
- LoRA权重:如果你加载了LoRA,可以在这里调整它的影响强度,一般从0.5到1.0之间尝试。
-
点击运行:设置好参数后,点击界面上的“Queue Prompt”按钮。ComfyUI就会开始处理你的请求。在右侧的预览区域,你可以看到生成进度和最终结果。
第一次生成可能会稍慢,因为模型需要加载到显存中。完成后,你就能看到AI根据你的描述绘制的图片了!你可以尝试修改提示词、调整参数,生成不同风格和内容的作品。
6. 总结与关键要点
通过上面的步骤,你应该已经成功在ComfyUI中搭建起了Nunchaku FLUX.1-dev的创作环境。我们来回顾一下整个过程中的几个关键点,帮你避开常见的坑:
-
模型文件别放错地方:这是最容易出错的一步。记住,主模型(UNet)放在
models/unet/,LoRA放在models/loras/,文本编码器放在models/text_encoders/,VAE放在models/vae/。目录结构错了,ComfyUI就找不到模型。 -
显存版本要对号入座:再强调一下,根据你的显卡显存选择模型版本。FP16版画质最好但需要约33GB显存;INT4版是大多数显卡的性价比之选;FP8版适合小显存体验;Blackwell显卡用户记得选FP4版。
-
工作流节点别缺失:如果你加载工作流时,ComfyUI提示缺少某些节点,通常是因为对应的自定义插件没装全。这时可以通过ComfyUI-Manager(一个插件管理工具)来搜索并安装缺失的节点。
-
推理步数要注意:当你使用
nunchaku-flux.1-dev.json工作流时,如果关闭了FLUX.1-Turbo-Alpha这个加速LoRA,务必把推理步数调到20步以上,否则出图效果会大打折扣。 -
从简单提示词开始:刚开始使用时,不要写过于复杂冗长的提示词。从一个简单的物体或场景描述开始,比如“a cat sitting on a windowsill”(一只坐在窗台上的猫),先确保整个流程能跑通,再逐步增加细节和风格词。
Nunchaku FLUX.1-dev在ComfyUI中的集成,为我们提供了一个强大且灵活的文生图工具。它的价值在于,你将一个前沿的AI绘画模型,与ComfyUI这个高度可定制、可编程的视觉工作流平台结合了起来。这意味着你不仅可以用它来生成单张图片,未来还可以将它作为复杂创作流水线中的一个环节,实现批量生成、条件控制、后期处理等高级功能。
现在,你的AI画师已经就位,是时候用它来释放你的创造力了。多尝试不同的提示词组合,探索LoRA带来的风格变化,享受AI绘画带来的乐趣吧!
获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。
更多推荐


所有评论(0)