5分钟快速部署用LLM-Graph-Builder构建智能知识图谱【免费下载链接】llm-graph-builderNeo4j graph construction from unstructured data using LLMs项目地址: https://gitcode.com/GitHub_Trending/ll/llm-graph-builder你是否厌倦了手动整理海量文档数据想从PDF、网页、视频等非结构化数据中自动提取知识并构建可视化图谱llm-graph-builder正是你需要的解决方案这个基于大语言模型LLM和Neo4j图数据库的开源工具能让你轻松将各种数据源转化为结构化的知识图谱。 一键部署Docker Compose快速启动llm-graph-builder采用容器化设计让部署变得极其简单。只需几个命令你就能拥有完整的知识图谱构建系统。环境准备确保你的系统已安装Docker Engine (20.10)Docker Compose (v2)Git获取项目代码git clone https://gitcode.com/GitHub_Trending/ll/llm-graph-builder.git cd llm-graph-builder启动所有服务在项目根目录执行docker-compose up -d这个命令会自动构建并启动前后端服务后端服务运行在8000端口处理数据提取和图构建前端界面运行在8080端口提供可视化操作界面启动完成后访问http://localhost:8080即可开始使用 核心配置环境变量详解项目通过环境变量管理配置你需要准备两个关键文件后端配置 (backend/.env)复制示例配置文件并修改cp backend/example.env backend/.env关键配置项# Neo4j数据库连接 NEO4J_URIneo4j://localhost:7687 NEO4J_USERNAMEneo4j NEO4J_PASSWORDyour_password # LLM模型配置 OPENAI_API_KEYsk-your-openai-key DIFFBOT_API_KEYyour-diffbot-key # 嵌入模型设置 IS_EMBEDDINGTRUE EMBEDDING_MODELall-MiniLM-L6-v2前端配置 (frontend/.env)cp frontend/example.env frontend/.env基础配置VITE_BACKEND_API_URLhttp://localhost:8000 VITE_REACT_APP_SOURCESlocal,youtube,wiki,s3,web️ 数据库连接Neo4j配置指南连接数据库是使用llm-graph-builder的第一步。系统支持本地Neo4j实例和云端的AuraDB服务。本地Neo4j连接确保你的Neo4j版本为5.23或更高并已安装APOC扩展。在连接界面输入URI: neo4j://localhost:7687用户名: neo4j密码: 你的数据库密码AuraDB云服务连接如果你使用Neo4j AuraDB云服务选择AuraDB连接模式输入云服务提供的连接信息即可。 数据源支持多种格式轻松导入llm-graph-builder支持从多种数据源提取知识本地文件上传支持PDF、DOC、TXT等格式通过拖放或文件选择器上传云端存储接入Amazon S3: 连接你的S3存储桶Google Cloud Storage: 支持GCS文件访问网页内容: 直接输入URL抓取网页内容YouTube视频: 自动提取视频字幕和内容Wikipedia: 直接搜索维基百科条目 智能处理LLM驱动的知识提取系统支持多种主流大语言模型你可以根据需求灵活选择支持的LLM模型OpenAI系列: GPT-4o、GPT-4o-mini等Google Gemini: Gemini 1.5 Flash、Gemini ProDiffbot: 专业实体提取服务Anthropic Claude: Claude 3系列本地模型: 支持Ollama部署的本地LLM实体关系提取上传文件后系统会自动将文档分块处理使用LLM识别实体和关系构建结构化的知识图谱生成向量嵌入用于相似性搜索 智能问答与知识图谱对话构建好的知识图谱不仅可视化还能通过聊天机器人进行交互聊天功能特色多模式检索: 支持向量搜索、图搜索、全文搜索等多种检索方式溯源功能: 每个回答都标注信息来源确保可信度上下文理解: 基于图结构理解实体间关系 可视化探索交互式图分析系统提供丰富的可视化功能图查看选项全图展示: 查看所有文档的完整图谱按文档筛选: 只看特定文档的图谱按类型筛选: 只看实体、块或社区关系分析: 深入探索实体间连接图增强功能实体去重: 自动合并重复实体社区检测: 识别相关实体群组孤立节点清理: 优化图结构⚙️ 高级配置定制化处理流程处理配置调整在Processing Configuration中你可以调整分块大小和重叠率选择不同的嵌入模型配置实体提取参数设置关系提取规则自定义Schema如果你有特定的知识结构需求可以使用预定义Schema模板上传自定义Schema JSON文件通过文本描述生成Schema 实用技巧最佳实践建议数据准备建议文件大小: 建议单个文件不超过50MB格式优化: 确保PDF可复制文本避免扫描件内容质量: 结构清晰的文档提取效果更好处理参数调优分块大小: 根据文档类型调整技术文档建议较小分块重叠率: 设置10-20%的重叠确保上下文连贯LLM选择: 复杂文档使用GPT-4o简单文档用Gemini Flash性能优化批量处理: 同时处理多个相关文档增量更新: 只处理新增或修改的内容缓存利用: 启用GCS文件缓存加速重复处理️ 故障排除常见问题解决服务启动问题问题: Docker Compose启动失败解决:# 检查端口占用 docker-compose down docker-compose up -d --build数据库连接问题问题: 无法连接Neo4j解决:确认Neo4j服务正在运行检查防火墙设置验证用户名密码正确性文件处理失败问题: 文件上传后状态为Failed解决:检查文件格式是否支持确认API密钥配置正确查看后端日志获取详细错误信息LLM调用超时问题: 实体提取超时解决:减少单次处理的文件大小切换到响应更快的模型如Gemini Flash调整超时参数设置 进阶功能探索更多可能性自定义数据源开发如果你想集成新的数据源可以参考数据源模块: backend/src/document_sources/实体提取逻辑: backend/src/entities/图数据库操作: backend/src/graphDB_dataAccess.py扩展LLM支持项目采用模块化设计轻松添加新的LLM提供商在backend/src/llm.py中添加新模型处理逻辑更新前端配置支持新模型添加相应的环境变量配置性能监控与优化系统内置了多项监控功能Token使用跟踪: 监控LLM API使用量处理时间统计: 分析各环节性能错误日志记录: 快速定位问题 后续学习路径官方文档资源项目文档: docs/project_docs.adoc后端开发指南: docs/backend/backend_docs.adoc前端开发指南: docs/frontend/frontend_docs.adoc实验与探索项目提供了丰富的实验案例多种LLM对比: experiments/LLM_Results_.csvRAGAS评估: experiments/RAGAS_evaluation.csv分块策略实验: experiments/chunk_size_variable.ipynb社区与支持GitHub仓库: 提交issue获取帮助示例项目: 参考POC_Documents/中的示例实验笔记: 查看experiments/目录下的Jupyter笔记本 总结llm-graph-builder是一个功能强大的知识图谱构建工具通过Docker一键部署结合多种LLM模型让你能够轻松地从非结构化数据中提取结构化知识。无论你是数据分析师、研究人员还是开发者都能通过这个工具快速构建自己的知识图谱应用。记住从数据到洞察只需三个步骤——上传、处理、探索现在就开始你的知识图谱构建之旅吧✨提示: 首次使用时建议从少量文档开始熟悉流程后再处理大规模数据。祝你在知识图谱的世界里探索愉快【免费下载链接】llm-graph-builderNeo4j graph construction from unstructured data using LLMs项目地址: https://gitcode.com/GitHub_Trending/ll/llm-graph-builder创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考