openclaw+ComfyUI+Nunchaku:三合一开源文生图技术栈落地实操
本文介绍了如何在星图GPU平台上自动化部署Nunchaku FLUX.1-dev文生图镜像,快速搭建开源AI绘画环境。该平台简化了部署流程,用户可轻松利用该镜像生成高质量图像,应用于创意设计、社交媒体内容制作等场景,显著提升视觉内容创作效率。
openclaw+ComfyUI+Nunchaku:三合一开源文生图技术栈落地实操
想体验最新最强的开源文生图模型,但被复杂的部署流程劝退?今天,我们就来手把手带你搞定一套“三合一”的黄金组合:openclaw + ComfyUI + Nunchaku FLUX.1-dev。
这个组合有多强?简单来说,它能让你在本地电脑上,用上目前开源领域最前沿的文生图模型之一——FLUX.1-dev。这个模型以生成高质量、高分辨率图像而闻名,现在通过Nunchaku团队的优化和ComfyUI的可视化界面,部署和使用的门槛大大降低。
无论你是AI绘画爱好者,还是想将先进AI能力集成到工作流中的开发者,这篇教程都将是你从零到一的完整指南。我们不讲复杂的理论,只聚焦于怎么装、怎么用、怎么出效果。准备好了吗?让我们开始吧。
1. 环境准备:打好地基
在开始安装任何软件之前,我们需要确保你的电脑环境满足基本要求。这就像盖房子前要检查地基一样,至关重要。
硬件要求(核心是显卡):
- 显卡:必须是一块支持CUDA的NVIDIA显卡。这是运行AI模型的计算核心。
- 显存建议:强烈推荐24GB或以上显存,这样你可以流畅运行完整的FP16精度模型,获得最佳画质。如果你的显存只有8GB或12GB也别担心,我们后面会介绍量化版模型(如INT4、FP8),它们能在更小的显存下运行,只是画质可能会有轻微损失。
- 其他:至少16GB内存,足够的硬盘空间(模型文件比较大)。
软件要求:
- 操作系统:Windows 10/11,或者Linux(如Ubuntu)。macOS暂不支持,因为依赖NVIDIA CUDA。
- Python:需要安装Python 3.10或更高版本。这是所有AI工具的基础运行环境。
- Git:用于从网上下载代码。如果你还没有,去官网下载安装一个。
- PyTorch:一个重要的深度学习框架。你需要安装与你的系统和CUDA版本匹配的PyTorch。通常安装命令类似
pip install torch torchvision torchaudio,但最好去PyTorch官网根据你的情况生成准确的安装命令。
一个关键工具: 在开始前,我们先安装一个下载模型必备的小工具:
pip install --upgrade huggingface_hub
这个工具能帮你从Hugging Face(一个AI模型社区)快速下载我们需要的模型文件。
环境检查完毕,我们就可以进入正式的安装环节了。
2. 安装部署:搭建你的AI画室
我们的“画室”由两部分组成:ComfyUI可视化界面和Nunchaku插件(包含后端引擎)。ComfyUI就像一个功能强大的画板,而Nunchaku插件则是专门为FLUX.1-dev模型定制的“神奇画笔”。
2.1 安装ComfyUI-nunchaku插件
安装插件有两种方法,你可以选择你觉得更顺手的一种。
方法一:使用Comfy-CLI(最简单,推荐新手) 这个方法通过命令行工具一键安装,非常省心。
# 1. 安装ComfyUI的命令行管理工具
pip install comfy-cli
# 2. 安装ComfyUI主程序(如果你已经安装过,这一步可以跳过)
comfy install
# 3. 安装Nunchaku插件
comfy noderegistry-install ComfyUI-nunchaku
# 4. 将插件移动到ComfyUI的正确目录(这步很关键!)
# 假设你的ComfyUI安装在默认位置,进入其目录下的custom_nodes文件夹
cd ComfyUI/custom_nodes
# 将刚安装的插件文件夹改名为nunchaku_nodes(这是约定俗成的名称,方便识别)
mv ComfyUI-nunchaku nunchaku_nodes
方法二:手动安装(更灵活,适合喜欢掌控一切的玩家) 这个方法需要你手动克隆代码库,适合已经熟悉Git操作的朋友。
# 1. 下载ComfyUI主程序
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
# 安装ComfyUI需要的所有Python依赖包
pip install -r requirements.txt
# 2. 下载Nunchaku插件
cd custom_nodes # 进入ComfyUI的插件目录
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes
无论哪种方法,完成后,ComfyUI/custom_nodes/目录下应该会有一个名为nunchaku_nodes的文件夹,里面就是我们的插件。
2.2 安装Nunchaku后端引擎
插件是“操作界面”,后端引擎才是真正的“计算核心”。从Nunchaku插件v0.3.2版本开始,安装变得非常简单。
- 启动ComfyUI(我们稍后会详细讲如何启动)。
- 在ComfyUI的网页界面中,你应该能看到一个名为
install_wheel.json的工作流文件(由插件提供)。 - 加载这个工作流并点击“运行”,它会自动为你下载和安装所需的后端wheel包。
如果自动安装不成功,你也可以根据插件文档的说明,手动安装对应的Python包。
3. 模型准备:请来“王牌画师”
插件和引擎就位,现在需要请出我们的主角——Nunchaku FLUX.1-dev模型。不过,FLUX模型是一个“组合型”画师,它需要几个助手一起工作。
3.1 配置工作流(预设画布)
为了让ComfyUI认识我们的新画师,需要把Nunchaku插件自带的一些示例“绘画流程”(工作流)复制过去。
# 进入你的ComfyUI根目录
cd ComfyUI
# 创建存放示例工作流的目录(如果不存在的话)
mkdir -p user/default/example_workflows
# 复制Nunchaku插件提供的工作流文件
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/
这样,在ComfyUI的网页界面里,你就能直接加载这些预设好的高效工作流了。
3.2 下载模型文件(请画师和助手们入场)
这是最关键的一步,需要下载四种类型的模型文件,并放到正确的“座位”(目录)上。
首先,创建正确的目录结构: 在ComfyUI/models/目录下,确保有以下子文件夹(如果没有就创建):
unet/- 存放FLUX.1-dev主模型loras/- 存放LoRA模型(风格微调器)text_encoders/- 存放文本编码器(理解你的文字描述)vae/- 存放VAE模型(负责最终图像解码)
第一步:下载基础助手(文本编码器和VAE) 这两个模型是FLUX架构的标准组件,必须安装。
# 下载文本编码器(CLIP和T5),它们帮助模型理解你的文字
# 下载到 models/text_encoders 目录
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders
# 下载VAE解码器,它把模型内部的数学表示变成你看得见的图片
# 下载到 models/vae 目录
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae
提示:
hf命令就是我们之前安装的huggingface_hub工具。如果下载速度慢,可以考虑使用国内镜像源,或者手动从Hugging Face网站下载后放入对应目录。
第二步:下载王牌画师本人(Nunchaku FLUX.1-dev主模型) 这是核心模型,有不同的“工作强度”(量化版本)可选,请根据你的显卡显存对号入座:
- INT4模型:适用于大多数NVIDIA显卡(RTX 20/30/40系列),在保持较好质量的同时显著降低显存占用。
- FP4模型:专为最新的Blackwell架构显卡(如RTX 50系列)优化。
- FP8模型:如果你显存比较紧张(比如12GB),可以选择这个版本,它是精度和显存占用的平衡点。
这里以最通用的INT4模型为例:
# 下载INT4量化版的主模型到 models/unet/ 目录
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/
第三步(可选):下载风格微调器(LoRA) LoRA就像给画师不同的“滤镜”或“风格指南”,可以显著改变出图风格。Nunchaku推荐使用 FLUX.1-Turbo-Alpha 这个LoRA,它能加快生成速度并可能提升某些场景的效果。
# 将下载的LoRA模型文件放入 models/loras/ 目录
# 你需要根据LoRA的具体下载链接来操作,例如:
# 假设你从网上下载了 `flux.1-turbo-alpha.safetensors`,直接把它放进 models/loras/ 文件夹即可。
至此,所有模型文件应该各就各位。你可以检查一下ComfyUI/models/目录,结构大致如下:
models/
├── unet/
│ └── svdq-int4_r32-flux.1-dev.safetensors
├── loras/
│ └── flux.1-turbo-alpha.safetensors (可选)
├── text_encoders/
│ ├── clip_l.safetensors
│ └── t5xxl_fp16.safetensors
└── vae/
└── ae.safetensors
4. 启动与创作:画出你的第一张AI作品
万事俱备,只欠东风。让我们启动ComfyUI,开始真正的创作。
4.1 启动ComfyUI服务
打开命令行终端,进入你的ComfyUI根目录,然后运行:
python main.py
如果一切顺利,你会看到一些启动日志,最后通常会显示一行类似 “Running on local URL: http://127.0.0.1:8188” 的信息。
现在,打开你的网页浏览器(比如Chrome),在地址栏输入 http://127.0.0.1:8188,回车。恭喜,你已经进入了ComfyUI的可视化操作界面!
4.2 加载Nunchaku FLUX.1-dev工作流
ComfyUI的界面可能初看有些复杂,但别担心,我们使用预设好的工作流就很简单。
- 在网页界面右侧,找到 “Load” (加载)按钮。
- 点击后,在弹出的对话框中,你应该能导航到
ComfyUI/user/default/example_workflows/这个路径。 - 选择名为
nunchaku-flux.1-dev.json的文件并打开。
瞬间,画布上会出现许多连线的方块(节点),这就是一个完整的文生图流水线。这个预设工作流已经帮我们连接好了FLUX.1-dev模型、文本编码器、VAE,并预留了LoRA的位置,开箱即用。
4.3 设置参数并生成图片
现在到了最有趣的环节——输入描述,让AI作画。
-
输入提示词:在工作流中,找到一个标有 “Positive Prompt” 的节点(通常是一个大的文本输入框)。在这里用英文描述你想要画面。FLUX模型对英文提示词响应更好。
- 试试这个:
A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K(一个带有山川湖泊的美丽风景,超高清,写实风格,8K分辨率) - 再试试这个:
A cute cartoon cat wearing a spacesuit, floating among stars, Pixar style(一只穿着宇航服的可爱卡通猫,漂浮在星星中,皮克斯风格)
- 试试这个:
-
调整基本参数(可选):
- 推理步数(Steps):一般设置在20-50之间。步数越多,细节可能越丰富,但生成时间也更长。如果使用了
FLUX.1-Turbo-AlphaLoRA,可以适当减少步数。 - 分辨率:找到
Empty Latent Image节点,可以设置图片的宽高。例如1024x1024。注意,分辨率越高,显存占用越大。 - LoRA权重:如果你加载了LoRA,可以调整其权重(通常0.5-1.0),控制风格影响的强度。
- 推理步数(Steps):一般设置在20-50之间。步数越多,细节可能越丰富,但生成时间也更长。如果使用了
-
点击生成:在界面上找到大大的 “Queue Prompt” 按钮,点击它! 系统开始运行,你会看到节点边框亮起,表示数据正在流动。稍等片刻(时间取决于你的显卡和步数),生成的图片就会出现在右边的预览区域。
成功了! 你的第一张由开源最强文生图模型之一生成的图片诞生了。你可以尝试不同的提示词,探索模型的潜力。
5. 关键技巧与避坑指南
为了让你的体验更顺畅,这里总结几个最重要的注意事项:
- 模型路径绝对不能错:这是最常见的问题。务必确认FLUX.1-dev主模型在
models/unet/,LoRA在models/loras/,文本编码器在models/text_encoders/,VAE在models/vae/。放错位置ComfyUI就找不到。 - 显存不足怎么办:
- 首选:使用INT4或FP8量化版的主模型,而不是完整的FP16版。
- 其次:在生成时降低输出分辨率(如从1024x1024降到768x768)。
- 最后:减少批量大小(Batch Size) 和推理步数(Steps)。
- 生成速度慢:除了升级硬件,可以尝试启用
FLUX.1-Turbo-AlphaLoRA,它能在一定程度上加速生成过程。 - 工作流节点报错:如果加载工作流时提示缺少某个节点(如
KSampler等),说明你的ComfyUI缺少对应的自定义节点。可以通过安装 ComfyUI Manager 这个管理插件,来方便地搜索和安装缺失节点。 - 关于推理步数:如果你决定不使用
FLUX.1-Turbo-AlphaLoRA,请务必将推理步数调整到20步以上,否则生成的图片质量可能会非常不理想。
6. 总结
走完这一整套流程,你已经成功搭建了一个基于当前顶尖开源技术的本地文生图平台。回顾一下我们的“三合一”技术栈:
- openclaw:提供了获取和部署AI应用的整体思路与资源。
- ComfyUI:给予了我们强大、灵活且可视化的操作界面。
- Nunchaku FLUX.1-dev:带来了接近行业前沿的图像生成质量。
这套组合的优势在于完全开源、可本地部署、高度定制化。你可以不受网络限制地尽情创作,也可以深入研究ComfyUI的工作流,将其集成到更复杂的自动化生产管线中。
当然,这只是一个开始。ComfyUI的节点生态系统极其丰富,你可以添加ControlNet(姿势控制)、IP-Adapter(图像风格参考)、各种 Upscaler(高清修复)等节点,打造属于你自己的终极AI绘画工作站。
获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。
更多推荐


所有评论(0)