openclaw+Nunchaku FLUX.1-dev:开源文生图模型本地化部署完整指南

想在自己的电脑上免费体验媲美Midjourney的AI绘画能力吗?今天,我们就来手把手教你部署一个强大的开源文生图模型——Nunchaku FLUX.1-dev。它基于Black Forest Labs的FLUX.1架构,通过Nunchaku团队的优化,让你能在本地生成高质量、高分辨率的图像,而且完全免费、可控。

无论你是AI绘画爱好者、设计师,还是想研究AI技术的开发者,这篇指南都将带你从零开始,在ComfyUI这个强大的可视化工作流工具中,成功部署并运行这个模型。整个过程清晰明了,跟着步骤走,你也能轻松玩转这个顶级的开源AI绘画工具。

1. 环境准备:搭建你的AI画室

在开始“作画”之前,我们需要先准备好“画室”的基础环境。这就像你要用电脑玩游戏,得先确保显卡驱动和游戏运行库都装好一样。别担心,步骤很简单。

首先,你需要一块支持CUDA的NVIDIA显卡。这是运行大多数AI模型的基础。如果你的显卡显存有24GB或以上(比如RTX 4090),那体验会非常流畅。如果显存小一些(比如8GB或12GB),也不用慌,我们后面会介绍量化版模型,它能大幅降低显存需求,让你在普通显卡上也能运行。

软件方面,你需要准备好三样东西:

  1. Python 3.10或更高版本:这是运行AI程序的语言环境。
  2. Git:用来从网上下载代码和工具。
  3. PyTorch:一个主流的AI框架,需要安装与你的系统和显卡驱动匹配的版本。

在开始安装前,建议先安装一个工具,它能帮你更方便地从网上下载模型文件。打开你的命令行终端(Windows上是CMD或PowerShell,Mac/Linux上是Terminal),输入下面这行命令并回车:

pip install --upgrade huggingface_hub

这个命令会安装一个叫huggingface_hub的Python库,它就像一个下载助手,能帮我们从Hugging Face这个AI模型“大超市”里快速获取文件。

环境准备好后,我们就可以进入下一步,安装核心的绘画工具——ComfyUI和Nunchaku插件了。

2. 安装部署:把画笔和颜料准备好

我们的“画室”将由两部分组成:ComfyUI(一个可视化的AI工作流操作台)和Nunchaku插件(专门为FLUX.1-dev模型设计的画笔工具)。下面提供两种安装方法,你可以选择最顺手的一种。

2.1 方法一:使用Comfy-CLI(最省心)

如果你喜欢一键式安装,讨厌复杂的配置,这个方法最适合你。Comfy-CLI是一个命令行工具,能帮你自动处理很多安装步骤。

首先,安装这个命令行工具本身:

pip install comfy-cli

接着,用它来安装ComfyUI本体。如果之前没装过,它会自动下载并配置:

comfy install

最后,安装我们今天的主角——Nunchaku插件:

comfy noderegistry-install ComfyUI-nunchaku

安装完成后,你可能会在当前的文件夹里看到一个叫ComfyUI-nunchaku的目录。我们需要把它移动到ComfyUI的正确位置,这样ComfyUI启动时才能找到它:

mv ComfyUI-nunchaku ComfyUI/custom_nodes/nunchaku_nodes

好了,方法一完成!是不是很简单?

2.2 方法二:手动安装(更灵活可控)

如果你希望对安装过程有更多控制,或者之前已经安装过ComfyUI,可以选择手动安装。

第一步,我们先获取ComfyUI的源代码:

git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt

这会把ComfyUI下载到本地,并安装它运行所需的所有Python依赖包。

第二步,进入ComfyUI的插件目录,并下载Nunchaku插件:

cd custom_nodes
git clone https://github.com/mit-han-lab/ComfyUI-nunchaku nunchaku_nodes

这样,插件就安装到了custom_nodes/nunchaku_nodes这个路径下。

安装后端依赖 从Nunchaku插件的v0.3.2版本开始,安装变得更简单了。完成上述步骤后,你只需要在ComfyUI的网页界面里,找到并加载一个名为install_wheel.json的工作流文件,运行它,就能一键安装或更新所有必要的后端组件。

至此,我们的“操作台”和“画笔”都安装好了。接下来,我们需要去下载最重要的“颜料”——也就是模型文件。

3. 模型准备:下载你的AI颜料库

模型文件是AI绘画的核心,它决定了AI能画出什么样的画。我们需要下载两类模型:基础FLUX模型Nunchaku FLUX.1-dev专属模型。请严格按照下面的目录存放它们,否则ComfyUI会找不到。

3.1 第一步:配置工作流示例

为了让操作更直观,Nunchaku插件自带了一些示例工作流。我们需要把它们复制到ComfyUI能识别的位置。

假设你现在在ComfyUI的根目录(就是有main.py文件的目录),执行以下命令:

# 创建存放示例工作流的目录(如果不存在的话)
mkdir -p user/default/example_workflows

# 复制Nunchaku插件自带的工作流文件过去
cp custom_nodes/nunchaku_nodes/example_workflows/* user/default/example_workflows/

这样,当你启动ComfyUI后,就能在网页界面里直接加载这些预设好的“绘画流程”了。

3.2 第二步:下载模型文件

这是最关键的一步。请根据你的显卡情况,选择对应的模型版本下载:

  • Blackwell架构显卡(如未来的RTX 50系列):请下载FP4量化版模型。
  • 其他NVIDIA显卡(如RTX 20/30/40系列):优先下载INT4量化版模型。
  • 显存不足的用户:如果你的显卡显存较小(如8GB),可以选择FP8量化版的FLUX.1-dev模型,它对显存要求更低。

1. 下载基础FLUX模型(必须安装) 这部分模型负责理解文字和初步的图像处理,是FLUX架构的通用组件。

我们使用之前安装好的hf(huggingface_hub)命令来下载,它会自动把文件存到正确的位置。

首先,下载文本编码器模型,它们能理解你输入的文字描述:

# 下载CLIP文本编码器
hf download comfyanonymous/flux_text_encoders clip_l.safetensors --local-dir models/text_encoders

# 下载T5文本编码器
hf download comfyanonymous/flux_text_encoders t5xxl_fp16.safetensors --local-dir models/text_encoders

然后,下载VAE模型,它负责将AI生成的“数学特征”解码成我们能看到的图片:

# 下载VAE解码器模型
hf download black-forest-labs/FLUX.1-schnell ae.safetensors --local-dir models/vae

下载完成后,你可以检查一下ComfyUI/models/目录下的text_encodersvae文件夹,看看文件是否都在里面。

2. 下载Nunchaku FLUX.1-dev主模型(核心) 这是真正的“绘画大脑”,决定了最终的画风和图像质量。

我们以最常用的INT4量化版为例进行下载:

# 下载INT4量化的Nunchaku FLUX.1-dev主模型
hf download nunchaku-tech/nunchaku-flux.1-dev svdq-int4_r32-flux.1-dev.safetensors --local-dir models/unet/

这个文件会比较大(几个GB),请耐心等待下载完成。它需要被放在models/unet/目录下。

3. (可选)下载LoRA模型 LoRA可以理解为“风格滤镜”或“技能插件”。加载不同的LoRA,可以让同一个主模型画出不同风格的画,比如动漫风、涡轮加速模式等。

你可以根据需要从Hugging Face或ModelScope下载喜欢的LoRA模型(文件后缀通常是.safetensors),然后将其放入models/loras/目录。例如,一个叫FLUX.1-Turbo-Alpha的LoRA可以加速生成过程。

万事俱备,只欠东风。所有“颜料”备齐后,我们就可以启动画室,开始创作了!

4. 启动与运行:画出你的第一张AI作品

4.1 启动ComfyUI

回到ComfyUI的根目录,运行启动命令:

python main.py

稍等片刻,你会看到命令行输出一个本地网址,通常是 http://127.0.0.1:8188。用浏览器(Chrome/Firefox等)打开这个网址,你就进入了ComfyUI的网页操作界面。

4.2 加载Nunchaku FLUX.1-dev工作流

在ComfyUI网页界面右侧,找到“Load”按钮,点击它。在弹出的文件浏览器中,导航到 ComfyUI/user/default/example_workflows/ 目录。

这里你会看到几个以.json结尾的工作流文件。对于文生图,我们推荐使用 nunchaku-flux.1-dev.json。这个工作流功能完整,支持加载多个LoRA,能获得最好的生成效果。

加载成功后,界面会显示一个由各种节点和连线组成的可视化流程图,这就是我们的“绘画流水线”。

4.3 设置参数并生成图片

现在,让我们来画第一张图!

  1. 输入提示词:在工作流图中,找到一个标有“Prompt”或类似字样的文本输入框。FLUX模型对英文提示词的理解更好,所以建议用英文描述你想要的画面。例如:A beautiful landscape with mountains and lakes, ultra HD, realistic, 8K(一个美丽的山水风景,超高清,写实风格,8K分辨率)。

  2. 调整参数(可选)

    • 推理步数(Steps):一般20-50步,步数越多细节越丰富,但耗时也越长。
    • 分辨率:可以尝试1024x1024或更高。如果显存不足,可以先从512x512开始。
    • LoRA权重:如果你加载了LoRA,可以调整这里的滑块(通常是0-1之间)来控制风格强度。
    • 采样器(Sampler):保持默认设置即可。
  3. 点击运行:找到界面上的“Queue Prompt”或“Run”按钮,点击它。这时,你的显卡开始工作,命令行窗口会滚动显示处理进度。

  4. 查看结果:生成完成后,图片会出现在工作流右侧的预览节点中。你可以右键点击图片进行保存。

恭喜你!你已经成功在本地部署并运行了强大的Nunchaku FLUX.1-dev模型,生成了属于自己的AI画作。

5. 关键注意事项与技巧

为了让你玩得更顺畅,这里总结几个重要的注意事项和小技巧:

  1. 模型别放错地方:这是最常见的问题。请务必记住:

    • 主模型(svdq-int4_r32-flux.1-dev.safetensors)放在 models/unet/
    • LoRA模型放在 models/loras/
    • 文本编码器放在 models/text_encoders/
    • VAE模型放在 models/vae/
  2. 显存不够怎么办

    • FP16原版模型需要约33GB显存,FP8版约17GB,INT4/FP4版则更低。
    • 如果生成时显存溢出(OOM),首先尝试降低生成图片的分辨率(如从1024x1024降到768x768)。
    • 如果还不行,请确认你下载的是INT4或FP8等量化版模型,而不是FP16版。
  3. 工作流节点缺失:如果加载工作流时提示找不到某个节点(node),别慌。这说明你缺少某个自定义节点。可以去ComfyUI的管理器(ComfyUI-Manager)中搜索并安装对应的节点。

  4. 关于推理步数:如果你使用了FLUX.1-Turbo-Alpha这个LoRA来加速,推理步数可以设得低一些(如4-10步)。但如果关闭了这个LoRA,推理步数绝对不能低于20步,否则生成的图片质量会非常差。

  5. 多尝试提示词:AI绘画的“咒语”很关键。多尝试不同的英文描述组合,加入“masterpiece, best quality, detailed”等质量标签,或“anime style, oil painting”等风格标签,你会发现惊喜。


获取更多AI镜像

想探索更多AI镜像和应用场景?访问 CSDN星图镜像广场,提供丰富的预置镜像,覆盖大模型推理、图像生成、视频生成、模型微调等多个领域,支持一键部署。

Logo

Agent 垂直技术社区,欢迎活跃、内容共建。

更多推荐