VisProg完全指南从安装到执行5分钟上手神经符号视觉推理系统【免费下载链接】visprogOfficial code for VisProg (CVPR 2023 Best Paper!)项目地址: https://gitcode.com/gh_mirrors/vi/visprog你是否想要一个能理解复杂视觉任务并给出解释性推理的AI系统 VisProg正是这样一个革命性的神经符号视觉推理系统作为CVPR 2023最佳论文获奖项目VisProg结合了GPT-3的语言理解能力和计算机视觉模型通过生成可执行的Python程序来解决复杂的视觉推理任务。 VisProg是什么VisProg是一个创新的神经符号系统能够解析自然语言指令并生成可执行的视觉推理程序。它不需要专门训练而是利用GPT-3的上下文学习能力将复杂的视觉任务分解为一系列可执行的步骤。每个步骤可以调用不同的计算机视觉模型、图像处理例程或Python函数生成中间结果供后续步骤使用。这个系统最大的亮点是完全可解释——你不仅能看到最终答案还能看到整个推理过程的可视化轨迹 快速安装指南环境准备VisProg使用conda环境管理依赖安装非常简单conda env create -f environment.yaml conda activate visprog获取API密钥要使用VisProg你需要一个OpenAI API密钥。访问OpenAI官网获取密钥然后在notebook中设置环境变量。 5分钟快速上手第一步导入必要模块打开任何一个notebook文件如notebooks/gqa.ipynb你会看到清晰的导入结构from engine.utils import ProgramGenerator, ProgramInterpreter from prompts.gqa import create_prompt第二步初始化系统创建程序生成器和解释器interpreter ProgramInterpreter(datasetgqa) prompter partial(create_prompt, methodall) generator ProgramGenerator(prompterprompter)第三步加载图像并提问image Image.open(../assets/camel1.png) question How many people or animals are in the image?第四步生成并执行程序prog, _ generator.generate(dict(questionquestion)) result, prog_state, html_str interpreter.execute(prog, init_state, inspectTrue) VisProg的核心模块VisProg的强大之处在于其模块化设计。系统包含多种预置模块每个模块都有特定的功能视觉定位模块LOC: 在图像中定位特定对象CROP: 裁剪图像区域CROP_RIGHTOF/LEFTOF: 基于相对位置裁剪视觉问答模块VQA: 视觉问答使用BLIP模型COUNT: 统计对象数量EVAL: 执行Python表达式图像处理模块SEGMENT: 图像分割DETECT: 目标检测FILTER: 图像滤波处理 VisProg的实际应用案例案例1目标计数当询问图片中有多少人或动物时VisProg会生成如下程序BOX0LOC(imageIMAGE, objectpeople) BOX1LOC(imageIMAGE, objectanimals) ANSWER0COUNT(boxBOX0) ANSWER1COUNT(boxBOX1) ANSWER2EVAL(expr{ANSWER0} {ANSWER1}) FINAL_RESULTRESULT(varANSWER2)案例2复杂关系推理对于镜子右边的窗帘是什么颜色这样的问题VisProg能够定位镜子位置裁剪镜子右侧区域识别窗帘颜色案例3图像编辑VisProg还能执行自然语言图像编辑指令如在天空中添加一只鸟或将红色汽车变成蓝色。 项目结构解析了解VisProg的目录结构有助于更好地使用和扩展它visprog/ ├── engine/ # 核心引擎 │ ├── step_interpreters.py # 模块解释器 │ ├── utils.py # 工具函数 │ └── nms.py # 非极大值抑制 ├── notebooks/ # 示例notebook │ ├── gqa.ipynb # 视觉问答 │ ├── image_editing.ipynb # 图像编辑 │ ├── nlvr.ipynb # 视觉推理 │ └── ok_det.ipynb # 目标检测 ├── prompts/ # 提示模板 │ ├── gqa.py # GQA数据集提示 │ ├── imgedit.py # 图像编辑提示 │ ├── knowtag.py # 知识标注提示 │ └── nlvr.py # NLVR提示 └── assets/ # 示例图像 ├── camel1.png ├── bollywood.png └── rationale.png️ 如何扩展VisProg添加新模块想要扩展VisProg的功能只需在engine/step_interpreters.py中添加新模块class YourModuleInterpreter(): step_name YOUR_MODULE def __init__(self): print(fRegistering {self.step_name} step) def parse(self, prog_step): # 解析程序字符串 pass def html(self, *args): # 生成HTML可视化 pass def execute(self, prog_step, inspectFalse): # 执行模块逻辑 pass添加新任务示例在prompts/目录下创建新的提示文件包含任务的示例程序YOUR_TASK_EXAMPLES [ Question: 你的问题示例 Program: # 对应的程序代码 FINAL_RESULTRESULT(varANSWER) , ] 使用技巧与最佳实践1. 选择合适的notebook视觉问答: 使用notebooks/gqa.ipynb图像编辑: 使用notebooks/image_editing.ipynb视觉推理: 使用notebooks/nlvr.ipynb2. 优化提示工程提供清晰的上下文示例保持指令简洁明确利用现有的模块组合3. 调试与可视化设置inspectTrue查看详细执行过程利用HTML输出调试程序逻辑检查中间状态变量 常见问题解决问题1程序生成错误原因: 指令与现有示例差异太大解决: 在提示中添加类似示例或手动编写程序作为示例问题2模块功能不足原因: 现有模块无法解决特定任务解决: 添加新的模块到engine/step_interpreters.py问题3执行速度慢原因: 大型模型加载时间长解决: 首次运行后模型会缓存后续运行会更快 VisProg的独特优势无需训练: 直接利用GPT-3的上下文学习能力完全可解释: 每个推理步骤都可视化展示模块化设计: 轻松添加新功能多任务支持: 视觉问答、图像编辑、目标检测等学术价值: CVPR 2023最佳论文代表了神经符号推理的前沿 性能优化建议缓存策略重复使用的模型可以缓存中间结果可以复用批量处理相似任务提示优化减少不必要的示例使用最相关的上下文实验不同的提示格式 VisProg的未来发展VisProg代表了神经符号推理的重要方向。虽然当前版本已经非常强大但仍有改进空间更多模块支持: 添加更多计算机视觉和图像处理模块更好的错误处理: 改进程序生成失败时的恢复机制性能优化: 加速模型加载和执行过程多模态扩展: 结合音频、视频等多模态输入 开始你的VisProg之旅现在你已经掌握了VisProg的核心概念和使用方法这个强大的神经符号视觉推理系统将为你打开计算机视觉研究的新大门。无论你是研究人员、开发者还是AI爱好者VisProg都能帮助你 理解复杂的视觉推理过程 构建可解释的AI系统 快速原型开发视觉应用 学习神经符号编程的最佳实践准备好探索这个令人兴奋的领域了吗从克隆仓库开始你的VisProg之旅吧git clone https://gitcode.com/gh_mirrors/vi/visprog记住VisProg不仅仅是一个工具它代表了一种全新的AI系统构建思路——将神经网络的感知能力与符号系统的推理能力完美结合。提示在实际使用时请确保你有足够的计算资源和OpenAI API配额来支持VisProg的运行。【免费下载链接】visprogOfficial code for VisProg (CVPR 2023 Best Paper!)项目地址: https://gitcode.com/gh_mirrors/vi/visprog创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考