Wan2.1 VACE ComfyUI 原生支持以及 ACE-Step 调优相关更新

又见面了 Comfy 社区的小伙伴们!我们很高兴地宣布 ComfyUI 现已原生支持 Wan2.1-VACE! 同时我们也想分享一个改进后的 Ace-Step 音乐生成工作流。

Wan2.1-VACE 是由阿里巴巴通义团队推出的开源统一视频编辑模型。通过整合多任务能力、支持高分辨率处理和灵活的多模态输入机制,该模型显著提高了视频创作的效率和质量。

亮点:一体化编辑

VACE 创新地在单个模型中提供视频生成和编辑的解决方案,让用户能够有效地探索多样化的可能性并简化工作流程,提供包括移动任意物体、替换任意物体、参考任意物体、扩展任意物体、动画化任意物体等功能。

开始使用:

1. 更新 ComfyUI 或 ComfyUI Desktop 到最新版本

2. 进入 工作流 → 模板,找到 Wan2.1-VACE 模板

3. 按照说明下载模型并运行!

VACE Text-to-Video Workflow

VACE Image-to-Video Workflow

VACE Video-to-Video Workflow

该模型实现支持更多功能,包括运动笔刷、局部重绘、视频外扩和添加额外元素, 我们正在积极完善对应的示例工作流。你也可以开始使用现有节点进行探索!

欢迎查看我们的【文档】了解更多详情

Ace-Step 工作流改进

我们在之前发布的 ACE=Step 工作流的基础上进行了改进, 本篇开头的音乐正是使用新的工作流生成的。

通过 Latent操作色调映射Reinhard ,我们现在可以在工作流中调整人声音量。

目前对应的工作流在模板中也已更新。

Updated Ace-Step Text-to-music Workflow

查看我们的【文档】了解音频到音频工作流和更多详情!

享受创作的乐趣吧!