openclaw+Nunchaku FLUX.1-dev:开源文生图模型本地化部署完整指南
本文介绍了如何在星图GPU平台上自动化部署Nunchaku FLUX.1-dev文生图镜像,实现本地AI绘画。该平台简化了部署流程,用户可快速搭建基于FLUX.1架构的开源模型环境,用于生成高质量、高分辨率的数字图像,满足设计、创意内容制作等需求。
openclaw+Nunchaku FLUX.1-dev:开源文生图模型本地化部署完整指南
想在自己的电脑上免费体验媲美Midjourney的AI绘画能力吗?今天,我们就来手把手教你部署一个强大的开源文生图模型——Nunchaku FLUX.1-dev。它基于Black Forest Labs的FLUX.1架构,通过Nunchaku团队的优化,让你能在本地生成高质量、高分辨率的图像,而且完全免费、可控。
无论你是AI绘画爱好者、设计师,还是想研究AI技术的开发者,这篇指南都将带你从零开始,在ComfyUI这个强大的可视化工作流工具中,成功部署并运行这个模型。整个过程清晰明了,跟着步骤走,你也能轻松玩转这个顶级的开源AI绘画工具。
1. 环境准备:搭建你的AI画室
在开始“作画”之前,我们需要先准备好“画室”的基础环境。这就像你要用电脑玩游戏,得先确保显卡驱动和游戏运行库都装好一样。别担心,步骤很简单。
首先,你需要一块支持CUDA的NVIDIA显卡。这是运行大多数AI模型的基础。如果你的显卡显存有24GB或以上(比如RTX 4090),那体验会非常流畅。如果显存小一些(比如8GB或12GB),也不用慌,我们后面会介绍量化版模型,它能大幅降低显存需求,让你在普通显卡上也能运行。
软件方面,你需要准备好三样东西:
- Python 3.10或更高版本:这是运行AI程序的语言环境。
- Git:用来从网上下载代码和工具。
- PyTorch:一个主流的AI框架,需要安装与你的系统和显卡驱动匹配的版本。
在开始安装前,建议先安装一个工具,它能帮你更方便地从网上下载模型文件。打开你的命令行终端(Windows上是CMD或PowerShell,Mac/Linux上是Terminal),输入下面这行命令并回车:
pip install --upgrade huggingface_hub
这个命令会安装一个叫huggingface_hub的Python库,它就像一个下载助手,能帮我们从Hugging Face这个AI模型“大超市”里快速获取文件。
环境准备好后,我们就可以进入下一步,安装核心的绘画工具——ComfyUI和Nunchaku插件了。
2. 安装部署:把画笔和颜料准备好
我们的“画室”将由两部分组成:ComfyUI(一个可视化的AI工作流操作台)和Nunchaku插件(专门为FLUX.1-dev模型设计的画笔工具)。下面提供两种安装方法,你可以选择最顺手的一种。
2.1 方法一:使用Comfy-CLI(最省心)
如果你喜欢一键式安装,讨厌复杂的配置,这个方法最适合你。Comfy-CLI是一个命令行工具,能帮你自动处理很多安装步骤。
首先,安装这个命令行工具本身:
pip install comfy-cli
接着,用它来安装ComfyUI本体。如果之前没装过,它会自动下载并配置:
comfy install
最后,安装我们今天的主角——Nunchaku插件:
comfy noderegistry-install ComfyUI-nunchaku
安装完成后,你可能会在当前的文件夹里看到一个叫ComfyUI-nunchaku的目录。我们需要把它移动到ComfyUI的正确位置,这样ComfyUI启动时才能找到它:
mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes
好了,方法一完成!是不是很简单?
2.2 方法二:手动安装(更灵活可控)
如果你希望对安装过程有更多控制,或者之前已经安装过ComfyUI,可以选择手动安装。
第一步,我们先获取ComfyUI的源代码:
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt
这会把ComfyUI下载到本地,并安装它运行所需的所有Python依赖包。
第二步,进入ComfyUI的插件目录,并下载Nunchaku插件:
cd custom_nodes
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes
这样,插件就安装到了custom_nodes/nunchaku_nodes这个路径下。
安装后端依赖 从Nunchaku插件的v0.3.2版本开始,安装变得更简单了。完成上述步骤后,你只需要在ComfyUI的网页界面里,找到并加载一个名为install_wheel.json的工作流文件,运行它,就能一键安装或更新所有必要的后端组件。
至此,我们的“操作台”和“画笔”都安装好了。接下来,我们需要去下载最重要的“颜料”——也就是模型文件。
3. 模型准备:下载你的AI颜料库
模型文件是AI绘画的核心,它决定了AI能画出什么样的画。我们需要下载两类模型:基础FLUX模型和Nunchaku FLUX.1-dev专属模型。请严格按照下面的目录存放它们,否则ComfyUI会找不到。
3.1 第一步:配置工作流示例
为了让操作更直观,Nunchaku插件自带了一些示例工作流。我们需要把它们复制到ComfyUI能识别的位置。
假设你现在在ComfyUI的根目录(就是有main.py文件的目录),执行以下命令:
# 创建存放示例工作流的目录(如果不存在的话)
mkdir -p user/default/example_workflows
# 复制Nunchaku插件自带的工作流文件过去
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/
这样,当你启动ComfyUI后,就能在网页界面里直接加载这些预设好的“绘画流程”了。
3.2 第二步:下载模型文件
这是最关键的一步。请根据你的显卡情况,选择对应的模型版本下载:
- Blackwell架构显卡(如未来的RTX 50系列):请下载FP4量化版模型。
- 其他NVIDIA显卡(如RTX 20/30/40系列):优先下载INT4量化版模型。
- 显存不足的用户:如果你的显卡显存较小(如8GB),可以选择FP8量化版的FLUX.1-dev模型,它对显存要求更低。
1. 下载基础FLUX模型(必须安装) 这部分模型负责理解文字和初步的图像处理,是FLUX架构的通用组件。
我们使用之前安装好的hf(huggingface_hub)命令来下载,它会自动把文件存到正确的位置。
首先,下载文本编码器模型,它们能理解你输入的文字描述:
# 下载CLIP文本编码器
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders
# 下载T5文本编码器
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders
然后,下载VAE模型,它负责将AI生成的“数学特征”解码成我们能看到的图片:
# 下载VAE解码器模型
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae
下载完成后,你可以检查一下ComfyUI/models/目录下的text_encoders和vae文件夹,看看文件是否都在里面。
2. 下载Nunchaku FLUX.1-dev主模型(核心) 这是真正的“绘画大脑”,决定了最终的画风和图像质量。
我们以最常用的INT4量化版为例进行下载:
# 下载INT4量化的Nunchaku FLUX.1-dev主模型
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/
这个文件会比较大(几个GB),请耐心等待下载完成。它需要被放在models/unet/目录下。
3. (可选)下载LoRA模型 LoRA可以理解为“风格滤镜”或“技能插件”。加载不同的LoRA,可以让同一个主模型画出不同风格的画,比如动漫风、涡轮加速模式等。
你可以根据需要从Hugging Face或ModelScope下载喜欢的LoRA模型(文件后缀通常是.safetensors),然后将其放入models/loras/目录。例如,一个叫FLUX.1-Turbo-Alpha的LoRA可以加速生成过程。
万事俱备,只欠东风。所有“颜料”备齐后,我们就可以启动画室,开始创作了!
4. 启动与运行:画出你的第一张AI作品
4.1 启动ComfyUI
回到ComfyUI的根目录,运行启动命令:
python main.py
稍等片刻,你会看到命令行输出一个本地网址,通常是 http://127.0.0.1:8188。用浏览器(Chrome/Firefox等)打开这个网址,你就进入了ComfyUI的网页操作界面。
4.2 加载Nunchaku FLUX.1-dev工作流
在ComfyUI网页界面右侧,找到“Load”按钮,点击它。在弹出的文件浏览器中,导航到 ComfyUI/user/default/example_workflows/ 目录。
这里你会看到几个以.json结尾的工作流文件。对于文生图,我们推荐使用 nunchaku-flux.1-dev.json。这个工作流功能完整,支持加载多个LoRA,能获得最好的生成效果。
加载成功后,界面会显示一个由各种节点和连线组成的可视化流程图,这就是我们的“绘画流水线”。
4.3 设置参数并生成图片
现在,让我们来画第一张图!
-
输入提示词:在工作流图中,找到一个标有“Prompt”或类似字样的文本输入框。FLUX模型对英文提示词的理解更好,所以建议用英文描述你想要的画面。例如:
A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K(一个美丽的山水风景,超高清,写实风格,8K分辨率)。 -
调整参数(可选):
- 推理步数(Steps):一般20-50步,步数越多细节越丰富,但耗时也越长。
- 分辨率:可以尝试1024x1024或更高。如果显存不足,可以先从512x512开始。
- LoRA权重:如果你加载了LoRA,可以调整这里的滑块(通常是0-1之间)来控制风格强度。
- 采样器(Sampler):保持默认设置即可。
-
点击运行:找到界面上的“Queue Prompt”或“Run”按钮,点击它。这时,你的显卡开始工作,命令行窗口会滚动显示处理进度。
-
查看结果:生成完成后,图片会出现在工作流右侧的预览节点中。你可以右键点击图片进行保存。
恭喜你!你已经成功在本地部署并运行了强大的Nunchaku FLUX.1-dev模型,生成了属于自己的AI画作。
5. 关键注意事项与技巧
为了让你玩得更顺畅,这里总结几个重要的注意事项和小技巧:
-
模型别放错地方:这是最常见的问题。请务必记住:
- 主模型(
svdq-int4_r32-flux.1-dev.safetensors)放在models/unet/ - LoRA模型放在
models/loras/ - 文本编码器放在
models/text_encoders/ - VAE模型放在
models/vae/
- 主模型(
-
显存不够怎么办:
- FP16原版模型需要约33GB显存,FP8版约17GB,INT4/FP4版则更低。
- 如果生成时显存溢出(OOM),首先尝试降低生成图片的分辨率(如从1024x1024降到768x768)。
- 如果还不行,请确认你下载的是INT4或FP8等量化版模型,而不是FP16版。
-
工作流节点缺失:如果加载工作流时提示找不到某个节点(node),别慌。这说明你缺少某个自定义节点。可以去ComfyUI的管理器(ComfyUI-Manager)中搜索并安装对应的节点。
-
关于推理步数:如果你使用了
FLUX.1-Turbo-Alpha这个LoRA来加速,推理步数可以设得低一些(如4-10步)。但如果关闭了这个LoRA,推理步数绝对不能低于20步,否则生成的图片质量会非常差。 -
多尝试提示词:AI绘画的“咒语”很关键。多尝试不同的英文描述组合,加入“masterpiece, best quality, detailed”等质量标签,或“anime style, oil painting”等风格标签,你会发现惊喜。
获取更多AI镜像
想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。
更多推荐



所有评论(0)