Agent驱动的图片生成、视频生成、无限画布项目-NovanovaStudio
·
不同于传统的图片生成、视频生成项目， Novanova Studio是以Agent驱动的，你可以在对话中要求AI生成你想要的内容，和在codex、claudecode中和模型对话修改代码一样，目前实现的功能有：
- 无限画布：把文字、图片、视频、参考素材和生成结果放到同一空间编排，保留创作上下文。
- 对话式图片与视频生成：在同一会话中完成生成、编辑、引用历史结果和继续迭代。
- 多渠道模型配置：在“配置与用户偏好”中维护 AI 渠道、模型能力、默认模型和积分消耗规则。
- 素材与生成记录：保存可复用资产、生成历史和提示词，减少重复上传与重复配置。
- 对象存储接入：支持腾讯云 COS、阿里云 OSS、七牛云 Kodo，用于上传素材与保存生成结果。
- 用户与运营能力：邮箱登录、OAuth2 登录、积分、通知、提示词库、首页展示和管理员后台。
- 异步任务机制：Redis Stream 消费组、任务锁、失败恢复与 SSE 事件流支撑可追踪的长耗时任务。
🤖 支持的模型与渠道
项目通过渠道的 apiFormat（接口调用格式）选择对应适配器，模型名称由管理员从渠道同步后配置，不维护固定的全量模型白名单。因此，除下表明确写出的专用模型外，只要模型实现对应渠道协议和接口，就可以加入相应的图片、视频或 Chat 模型目录；最终可用范围仍取决于渠道账号实际开通的模型。
渠道能力矩阵
| 渠道格式 | 生成图片 | 生成视频 | Chat / 主 Agent | 默认 Base URL | 说明 |
|---|---|---|---|---|---|
OpenAI 兼容（openai） | ✅ | ✅ | ✅ | https://api.openai.com/v1 | 支持 OpenAI 官方服务及实现相同接口协议的兼容渠道。 |
Gemini（gemini） | ✅ | ❌ | ✅ | https://generativelanguage.googleapis.com/v1beta | 使用 Gemini 原生 generateContent 接口。 |
Agnes（agnes） | ✅ | ✅ | ⚠️ | 由管理员填写 | 文本任务适配器支持 Agnes Chat Completions，但当前主 Agent 的 AgentScope 模型工厂未接入 Agnes。 |
Anthropic（anthropic） | ❌ | ❌ | ✅ | https://api.anthropic.com/v1 | 使用 Anthropic Messages 接口，适用于 Claude 模型。 |
Seedance（seedance） | ❌ | ✅ | ❌ | https://ark.cn-beijing.volces.com/api/v3 | 使用火山方舟视频生成任务接口。 |
生成图片模型
| 渠道 | 当前支持的模型范围 | 已实现能力 |
|---|---|---|
| OpenAI 兼容 | 提供 OpenAI Images API 的图片模型，不限制具体模型名称。 | 文生图调用 /images/generations；带参考图时调用 /images/edits。 |
| Gemini | 支持通过 Gemini generateContent 返回图片的模型，不限制具体模型名称。 | 文生图、参考图生成；请求 TEXT 和 IMAGE 两种响应模态。 |
| Agnes | agnes-image-2.1-flash | 文生图、图生图和多参考图生成。 |
生成视频模型
| 渠道 | 当前支持的模型范围 | 已实现能力 |
|---|---|---|
| OpenAI 兼容 | 提供 OpenAI 兼容 Videos API 的视频模型，不限制具体模型名称。 | 文生视频、最多 7 张参考图生成；不支持参考视频。 |
| Agnes | agnes-video-v2.0 | 文生视频、单图或多图参考生成；不支持参考视频。 |
| Seedance | Doubao Seedance 2.0 系列、Doubao Seedance 1.5 Pro、Doubao Seedance 1.0 Pro、Doubao Seedance 1.0 Pro Fast，以及兼容同一任务接口的模型 ID 或推理接入点 ID。 | 文生视频、参考图生成；Seedance 2.0 系列支持最多 9 张参考图和 3 个参考视频。 |
Chat 模型
| 渠道 | 当前支持的模型范围 | 接口与用途 |
|---|---|---|
| OpenAI 兼容 | GPT 系列及其他实现 OpenAI Chat Completions 协议的模型，不限制具体模型名称。 | /chat/completions，支持流式输出和 Agent 工具调用。 |
| Gemini | Gemini 文本或多模态 Chat 模型，不限制具体模型名称。 | Gemini 原生接口，用于主 Agent 对话与任务规划。 |
| Anthropic | Claude 系列模型，不限制具体模型名称。 | /v1/messages，支持流式输出和 Agent 工具调用。 |
⚠️ “渠道可拉取到模型”不等于“模型具备对应生成能力”。管理员仍需在模型配置中为每个模型标记文本、图片或视频类型及具体能力，并设置各类型的默认模型。
⚙️ 技术架构
| 层级 | 主要技术 | 作用 |
|---|---|---|
| Web | Next.js 16、React 19、TypeScript、Ant Design 6、Tailwind CSS、Zustand、React Flow | 创作工作台、对话、画布与配置界面。 |
| 服务端 | Java 21、Spring Boot 3.5、Spring WebFlux、AgentScope Java、Fastjson2 | 响应式 API、Agent 编排、任务调度、鉴权与业务服务。 |
| 数据与任务 | PostgreSQL 17、Flyway、R2DBC（响应式数据库连接）、Redis 8.6、Redis Stream | 用户、项目、任务、资产和生成记录持久化；异步任务分发与恢复。 |
| AI 与存储 | OpenAI、Gemini、Agnes、Anthropic、Seedance 格式渠道；COS、OSS、Kodo | 通过后台配置接入模型渠道和对象存储，而非把密钥放入浏览器。 |
| 部署 | Docker Compose、Nginx、Node.js 22、Maven | 本地依赖服务、容器化构建与 Linux 服务器部署。 |
欢迎大家提bug和PR~ 如果觉得帮到了您，可以点个star
Agent 垂直技术社区，欢迎活跃、内容共建。
更多推荐
6
0- 0
已为社区贡献1条内容
所有评论(0)