Agent驱动的图片生成、视频生成、无限画布项目-NovanovaStudio

📅 2026/8/1 2:35:16
Agent驱动的图片生成、视频生成、无限画布项目-NovanovaStudio
不同于传统的图片生成、视频生成项目 Novanova Studio是以Agent驱动的你可以在对话中要求AI生成你想要的内容和在codex、claudecode中和模型对话修改代码一样目前实现的功能有无限画布把文字、图片、视频、参考素材和生成结果放到同一空间编排保留创作上下文。对话式图片与视频生成在同一会话中完成生成、编辑、引用历史结果和继续迭代。多渠道模型配置在“配置与用户偏好”中维护 AI 渠道、模型能力、默认模型和积分消耗规则。素材与生成记录保存可复用资产、生成历史和提示词减少重复上传与重复配置。对象存储接入支持腾讯云 COS、阿里云 OSS、七牛云 Kodo用于上传素材与保存生成结果。用户与运营能力邮箱登录、OAuth2 登录、积分、通知、提示词库、首页展示和管理员后台。异步任务机制Redis Stream 消费组、任务锁、失败恢复与 SSE 事件流支撑可追踪的长耗时任务。 支持的模型与渠道项目通过渠道的apiFormat接口调用格式选择对应适配器模型名称由管理员从渠道同步后配置不维护固定的全量模型白名单。因此除下表明确写出的专用模型外只要模型实现对应渠道协议和接口就可以加入相应的图片、视频或 Chat 模型目录最终可用范围仍取决于渠道账号实际开通的模型。渠道能力矩阵渠道格式生成图片生成视频Chat / 主 Agent默认 Base URL说明OpenAI 兼容openai✅✅✅https://api.openai.com/v1支持 OpenAI 官方服务及实现相同接口协议的兼容渠道。Geminigemini✅❌✅https://generativelanguage.googleapis.com/v1beta使用 Gemini 原生generateContent接口。Agnesagnes✅✅⚠️由管理员填写文本任务适配器支持 Agnes Chat Completions但当前主 Agent 的 AgentScope 模型工厂未接入 Agnes。Anthropicanthropic❌❌✅https://api.anthropic.com/v1使用 Anthropic Messages 接口适用于 Claude 模型。Seedanceseedance❌✅❌https://ark.cn-beijing.volces.com/api/v3使用火山方舟视频生成任务接口。生成图片模型渠道当前支持的模型范围已实现能力OpenAI 兼容提供 OpenAI Images API 的图片模型不限制具体模型名称。文生图调用/images/generations带参考图时调用/images/edits。Gemini支持通过 GeminigenerateContent返回图片的模型不限制具体模型名称。文生图、参考图生成请求TEXT和IMAGE两种响应模态。Agnesagnes-image-2.1-flash文生图、图生图和多参考图生成。生成视频模型渠道当前支持的模型范围已实现能力OpenAI 兼容提供 OpenAI 兼容 Videos API 的视频模型不限制具体模型名称。文生视频、最多 7 张参考图生成不支持参考视频。Agnesagnes-video-v2.0文生视频、单图或多图参考生成不支持参考视频。SeedanceDoubao Seedance 2.0 系列、Doubao Seedance 1.5 Pro、Doubao Seedance 1.0 Pro、Doubao Seedance 1.0 Pro Fast以及兼容同一任务接口的模型 ID 或推理接入点 ID。文生视频、参考图生成Seedance 2.0 系列支持最多 9 张参考图和 3 个参考视频。Chat 模型渠道当前支持的模型范围接口与用途OpenAI 兼容GPT 系列及其他实现 OpenAI Chat Completions 协议的模型不限制具体模型名称。/chat/completions支持流式输出和 Agent 工具调用。GeminiGemini 文本或多模态 Chat 模型不限制具体模型名称。Gemini 原生接口用于主 Agent 对话与任务规划。AnthropicClaude 系列模型不限制具体模型名称。/v1/messages支持流式输出和 Agent 工具调用。⚠️ “渠道可拉取到模型”不等于“模型具备对应生成能力”。管理员仍需在模型配置中为每个模型标记文本、图片或视频类型及具体能力并设置各类型的默认模型。⚙️ 技术架构层级主要技术作用WebNext.js 16、React 19、TypeScript、Ant Design 6、Tailwind CSS、Zustand、React Flow创作工作台、对话、画布与配置界面。服务端Java 21、Spring Boot 3.5、Spring WebFlux、AgentScope Java、Fastjson2响应式 API、Agent 编排、任务调度、鉴权与业务服务。数据与任务PostgreSQL 17、Flyway、R2DBC响应式数据库连接、Redis 8.6、Redis Stream用户、项目、任务、资产和生成记录持久化异步任务分发与恢复。AI 与存储OpenAI、Gemini、Agnes、Anthropic、Seedance 格式渠道COS、OSS、Kodo通过后台配置接入模型渠道和对象存储而非把密钥放入浏览器。部署Docker Compose、Nginx、Node.js 22、Maven本地依赖服务、容器化构建与 Linux 服务器部署。欢迎大家提bug和PR~ 如果觉得帮到了您可以点个star仓库地址Github-novanova-studio