yacy_grid_mcp多实例部署与故障转移构建永不宕机的搜索网格集群【免费下载链接】yacy_grid_mcpThe YaCy Grid Master Connect Program项目地址: https://gitcode.com/gh_mirrors/ya/yacy_grid_mcp搜索引擎网格集群的高可用是每个运维工程师的终极追求。yacy_grid_mcp多实例部署与故障转移正是解决这一痛点的关键——作为 YaCy Grid 第二代点对点搜索引擎的 Master Connect Program主连接程序yacy_grid_mcp 承担着网格中所有微服务的注册、消息路由、资产存储与索引访问的中枢神经角色。本文将以最直观的方式带你掌握多实例部署方法、故障转移原理以及如何让搜索网格集群做到永不宕机。yacy_grid_mcp 是什么为什么它决定了网格的生死YaCy Grid 由一组互相通信的微服务构成而 yacy_grid_mcp 就是它们共同的交换机消息系统基于 RabbitMQ 的队列、栈与消息分发GridBroker.java资产存储基于 FTP / S3 / 本地目录的文件共享GridStorage.java数据库索引基于 Elasticsearch 的搜索与检索GridIndex.java只要 MCP 挂掉crawler、loader、parser、search 等所有微服务都会变成无头苍蝇。因此多实例部署 故障转移不是可选项而是生产环境的刚需。一、故障转移的三大设计基石1. 端口自动避让多实例零冲突 每个 YaCy Grid 服务都有默认端口但服务可以被多次启动。当检测到端口被占用时服务会自动选择替代端口继续运行完全不会产生端口号冲突。默认 MCP 端口为 8100第二个实例自动落在 8101第三个落在 8102……你只需要起更多实例网格就自动扩容。2. 多地址 fail-over配置里的逗号就是逃生通道在 conf/config.properties 中几乎所有外部服务地址都支持逗号分隔的多地址列表这正是故障转移的开关配置项说明示例grid.mcp.address上级 MCP 地址列表按顺序尝试连接127.0.0.1:8100,brain.local:8100,node00.local:8100grid.broker.addressRabbitMQ 地址列表guest:guest127.0.0.1:5672,guest:guestbrain.local:5672grid.elasticsearch.addressElasticsearch 集群节点列表127.0.0.1:9300,node01.local:9300,node02.local:9300grid.s3.address/grid.ftp.address资产存储地址列表admin:12345678yacygrid.127.0.0.1:9000connectBackend()方法Configuration.java会依次遍历这些地址第一个连不上自动尝试第二个直到成功为止——故障转移全程无需人工干预。3. 三级降级消息队列的双保险 消息投递是网格的核心动作。GridBroker.java 实现了经典的三级降级链路RabbitMQ 队列 → MCP 远程队列 → 本地 PeerBrokerMapDB 本地库首选 RabbitMQ性能最高支持懒队列lazy queue与队列限流grid.broker.queue.limit次选远程 MCP当 RabbitMQ 不可用时自动转投 MCP 路由兜底本地库即使外部全部失联消息仍会写入本地 MapDB绝不丢消息每一级失败都会自动降级 重连且对上层微服务完全透明。二、多实例部署从单点到集群的完整步骤方式一Docker Compose 一键拉起推荐 ⭐仓库根目录的 docker-compose.yml 已编排好 Elasticsearch、RabbitMQ、MinIO 和 MCP 全套组件且每个服务都配置了 healthcheck 健康检查MCP 会等待依赖服务健康后才启动git clone https://gitcode.com/gh_mirrors/ya/yacy_grid_mcp cd yacy_grid_mcp docker compose up -d启动后访问http://localhost:8100/yacy/grid/mcp/info/status.json即可确认 MCP 状态。方式二原生方式多实例启动# 编译 cd yacy_grid_mcp gradle run # 第二个实例自动使用 8101 端口在第二个实例的data/mcp-8101/conf/config.properties中配置grid.mcp.address指向主实例它就会自动学习主 MCP 的连接方式成为集群的一员——这正是 README 中描述的MCP 即路由器特性微服务第一次通过 MCP 连接后就能学会直连消息代理与存储后端。三、把故障转移配置到位的 5 个关键参数port.force设为false默认允许实例自动避让端口多实例才不冲突grid.name所有 MCP 必须相同默认freeworld不同网格网络不会互相连接这是隔离的边界grid.broker.queue.throttling队列总和限流值默认 100000防止目标队列被写爆grid.broker.lazy开启懒队列让 RabbitMQ 不占用内存缓存提升稳定性grid.assets.delete按需设置读后即删避免资产无限堆积 提示所有客户端连接 MCP 时grid.name、索引名、Elasticsearch 集群名等参数必须保持一致否则网格无法互相发现。四、用第二 MCP 验证故障转移附实测命令官方 README 给出了最直观的验证方法启动第二个 MCP 作为客户端然后对 8101 端口重复发送消息命令# 向第二个 MCP 发消息它会自动学会直连 RabbitMQ curl 127.0.0.1:8101/yacy/grid/mcp/messages/send.json?serviceNametestServicequeueNametestQueuemessagehello_world # 查看队列积压数量 curl http://127.0.0.1:8100/yacy/grid/mcp/messages/available.json?serviceNametestServicequeueNametestQueue此时停掉主 MCP8100消息依然能通过备用链路送达——故障转移生效。你也可以通过以下监控 URL 随时体检状态检查http://localhost:8100/yacy/grid/mcp/info/status.json线程转储http://localhost:8100/yacy/grid/mcp/info/threaddump.txt索引计数http://localhost:8100/yacy/grid/mcp/index/count.json?indexwebquerytestRabbitMQ 管理台http://localhost:15672默认账号 anonymous / yacy五、构建永不宕机集群的进阶建议数据库端先高可用Elasticsearch 本身可组多节点集群在grid.elasticsearch.address中写入全部节点地址参考 Configuration.java 的地址列表逻辑消息端双机热备RabbitMQ 部署镜像队列MCP 的 broker 地址列表按主备顺序排列存储端多副本MinIO/FTP 与 S3 可同时配置S3 优先、FTP 兜底见connectBackend的连接顺序云端容器化参考 docs/installation_aws_docker.md、docs/installation_google_cloud_kubernetes.md 等文档用 Kubernetes 管理 MCP 副本实现自动伸缩与自愈总结yacy_grid_mcp 的多实例部署非常简单——得益于端口自动避让机制多起几个实例就是集群而它的故障转移能力则藏在每一处逗号分隔的地址列表、三级降级的消息链路和透明自动重连机制里。只要把 conf/config.properties 的 fail-over 参数配置到位再配合 Docker Compose 或 Kubernetes 编排一个永不宕机的搜索网格集群就能稳稳运行。立刻用docker compose up -d动手搭建你的高可用网格吧【免费下载链接】yacy_grid_mcpThe YaCy Grid Master Connect Program项目地址: https://gitcode.com/gh_mirrors/ya/yacy_grid_mcp创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考