[ComfyUI]CogVideoX：仅有的5B参数开源视频大模型，2B模型可商用，显著质量提升

已经介绍过由智谱清言开源的与清影AICogVideoX。开源了。同时之前版本的模型开源协议已经修改为Apache 2.0 协议，意味着可以商用许可。开源 CogVideoX 系列更大的模型。大幅度优化了模型的推理性能，推理门槛大幅降低，可以在 GTX 1080TI 等早期显卡运行 CogVideoX-2B，在 RTX 3060 等桌面端显卡运行 CogVideoX-5B 模型。本次发布 CogVi

AIGC安琪

1471人浏览 · 2024-08-31 14:25:14

AIGC安琪 · 2024-08-31 14:25:14 发布

大家好我是安琪！！！

CogVideoX简介

已经介绍过由智谱清言开源的与清影AI同源技术架构文生视频框架：CogVideoX。近日研发团队再次升级，更大杯的5B模型：CogVideoX-5B开源了。同时之前版本的CogVideoX-2B 模型开源协议已经修改为Apache 2.0 协议，意味着可以商用许可。开源 CogVideoX 系列更大的模型 CogVideoX-5B 。大幅度优化了模型的推理性能，推理门槛大幅降低，可以在 GTX 1080TI 等早期显卡运行 CogVideoX-2B，在 RTX 3060 等桌面端显卡运行 CogVideoX-5B 模型。本次发布 CogVideoX模型生成的视频进行增强，实现更高分辨率，更高质量的视频渲染。

CogVideoX ComfyUI体验

在之前文章中介绍的ComfyUI-CogVideoXWrapper插件也已经更新了对最新CogVideoX-5B模型的支持，如果之前已安装过ComfyUI-CogVideoXWrapper插件，仅需更新插件和下载新的CogVideoX-5B模型放置到ComfyUI/models/CogVideo/CogVideoX-5b即可（模型将在首次运行时自动下载）。

另外需要注意：

• 本插件需要0.30.1特定版本的diffusers库(requirements.txt已声明)。
• 还需要使用T5模型，这与SD3或Flux模型中的使用的T5模型相同，支持T5 fp8精度。
• 使用显存需求主要取决于视频的长度。使用期间瞬时峰值可能达到13-14GB左右。而采样过程本身仅需要大约5-6GB的内存。

ComfyUI插件地址 （需要的同学可自行扫描获取）

在这里插入图片描述

另外，也可以使用笔者搭建的在线云平台体验（需要优惠券可文末加群联系笔者）：https://www.chenyu.cn/console/share?uuid=44ec441453eb4e79ad0ba49107cf5405。

01. 画者

人物无变形，难道在思考？笔尖始终未触及画板。

An elderly gentleman, with a serene expression, sits at the water’s edge, a steaming cup of tea by his side. He is engrossed in his artwork, brush in hand, as he renders an oil painting on a canvas that’s propped up against a small, weathered table. The sea breeze whispers through his silver hair, gently billowing his loose-fitting white shirt, while the salty air adds an intangible element to his masterpiece in progress. The scene is one of tranquility and inspiration, with the artist’s canvas capturing the vibrant hues of the setting sun reflecting off the tranquil sea.

一位上了年纪的绅士，神情安详，坐在水边，身边端着一杯热气腾腾的茶。他全神贯注于自己的艺术作品，手里拿着画笔，在一张帆布上渲染一幅油画，帆布靠在一张饱经风雨的小桌子上。海风吹过他的银发，轻轻吹动他宽松的白衬衫，咸咸的空气为他正在创作的杰作增添了一种无形的元素。场景是一个宁静和灵感，与艺术家的画布捕捉夕阳反射出宁静的大海充满活力的色调。

在这里插入图片描述

02. 雨中迷茫

似乎有意避开脸部，无可见崩坏情况。这相比2B版本算提升

A small boy, head bowed and determination etched on his face, sprints through the torrential downpour as lightning crackles and thunder rumbles in the distance. The relentless rain pounds the ground, creating a chaotic dance of water droplets that mirror the dramatic sky’s anger. In the far background, the silhouette of a cozy home beckons, a faint beacon of safety and warmth amidst the fierce weather. The scene is one of perseverance and the unyielding spirit of a child braving the elements.

一个小男孩，低着头，脸上带着坚定的表情，在倾盆大雨中疾驰而过，远处电闪雷鸣。无情的雨水敲打着地面，形成了一个混乱的水滴舞蹈，反映了戏剧性的天空的愤怒。在远处的背景中，一个舒适的家的剪影在召唤，在恶劣的天气中，一个微弱的安全与温暖的灯塔。这一幕展现了一个孩子在风雨中不屈不挠的精神。

03. 波光粼粼湖面

相比2B模型画质显著提升。

The lake was sparkling, the clouds were moving in the sky, and the peaks were emerging
湖面波光粼粼，云朵在天际移动，山峰渐露

在这里插入图片描述

04. 高速行驶汽车

相比2B模型画质显著提升。

Cars driving at high speed on the highway, the sense of speed, advertising films
汽车在公路上高速行驶，速度感，广告片

在这里插入图片描述

05. 熊猫吉他手

A giant panda plays guitar by the lake
一只大熊猫在湖边弹吉他

06. 中国山水

Chinese print style, line art, ancient Chinese legend picture book, illustration, Chinese landscape, ink style, black and gold color matching, mountain sunset, fairy pavilion, ancient pine

中国版画风格，线条艺术，中国古代传说绘本，插图，中国山水，水墨风，黑金配色,群山夕阳，仙楼阁，古松

总结：CogVideoX作为在AI视频领域仅有的开源AI视频模型，极大的促进社区的开源和繁荣。也能看见2B模型到5B模型的显著提升，有望在不久的时间内容开源AI视频百家争鸣的繁荣社区。当前CogVideoX开源的仅为文生视频模型，并不包含图生视频模型。在当下技术背景下，图生视频更具有强可控性，特别是在结合下面的Flux这里优质文生图模型。

Flux文生图工作流

chinese girl, "A single ethereal figure split down the middle in a symmetrical composition, with one half embodying a devilish persona characterized by horns and a tail, set against a dark, misty forest backdrop with red flowers and hellish elements like embers and shadows. The other half of the figure radiates an angelic presence with a halo and wings, complemented by a bright, serene environment filled with white flowers, soft clouds, and a rainbow. The two halves merge seamlessly at the center, creating a harmonious blend of light and darkness, good and evil. The figure’s expression on the devilish side is enigmatic and intense, while the angelic side displays a benevolent and tranquil demeanor. The attire flows from dark, flowing fabrics on the left to light, airy garments on the right, with a gradient of colors symbolizing the transition from one realm to another.