30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度1. 这篇文章真正要解决的问题当你需要搭建一个实时、高效的分析型数据库时面对 Apache Doris 这样一款明星产品第一反应是什么是去官网啃那动辄几十页的部署文档还是在各种零散的博客里拼凑步骤最后卡在某个依赖或配置上很多开发者都有过类似的经历一个理论上强大的工具却因为初始部署的复杂性和“坑点”而被劝退最终只能退而求其次。这篇文章要解决的就是如何将 Apache Doris 从“概念上的强大”变为“手边可用的服务”。我们将聚焦于使用 Docker 这一最主流的容器化方案在单机环境下快速、可靠地部署一个 Doris 集群FE BE。这不仅仅是把几条 Docker 命令跑通而是要让你理解每个参数背后的意义知道如何验证集群是否健康以及遇到常见问题时该如何排查。无论是想快速体验 Doris 的特性进行技术选型还是为开发测试环境搭建一个轻量级的数据分析平台这篇教程都将提供一个清晰、可复现的路径。2. 基础概念与核心原理在动手之前我们需要先理清几个关键概念这能帮你更好地理解后续的配置和操作而不是机械地复制命令。Apache Doris它是一个基于 MPP大规模并行处理架构的高性能、实时的分析型数据库。简单来说它擅长处理海量数据的快速查询和分析比如用户行为分析、实时报表、即席查询等场景。其核心架构分为两部分FrontendFE 负责元数据管理、集群调度、接收和解析用户请求。你可以把它理解为集群的“大脑”和“调度中心”。用户通过 MySQL 协议连接的就是 FE。BackendBE 负责数据存储和计算。数据表的具体数据分片Tablet就存储在 BE 节点上查询计算也在这里进行。BE 是干“体力活”的。为什么用 Docker 部署传统部署方式需要在多台机器上手动安装 Java 环境、配置系统参数、分发二进制包过程繁琐且环境难以保持一致。Docker 将 Doris 及其所有依赖如特定版本的 JDK打包成一个镜像实现了环境隔离 宿主机环境再杂乱也不影响 Doris 运行。一键部署 通过docker run命令和编排文件几分钟内就能拉起一个集群。版本管理 可以轻松切换、回滚不同的 Doris 版本。资源可控 方便地为容器分配 CPU、内存限制非常适合个人开发机或资源有限的测试服务器。单机伪集群部署 由于资源限制我们通常在一台机器上同时运行 FE 和 BE 的多个容器来模拟集群。这对于功能验证、开发测试完全足够。在生产环境中则需要将 FE 和 BE 部署到不同的物理机器上以实现高可用和水平扩展。3. 环境准备与前置条件确保你的操作环境满足以下要求这是后续所有步骤能成功的基础。操作系统 支持 Linux如 CentOS 7 Ubuntu 18.04、macOS 或 Windows需使用 WSL2。本文以LinuxUbuntu 20.04环境为例进行演示。Docker 环境 这是核心依赖。你需要安装并启动 Docker Engine。安装 Docker 请参考 Docker 官方文档进行安装。安装后执行以下命令验证docker --version docker-compose --version # 或 docker compose version (新版本)配置镜像加速国内用户建议配置 修改/etc/docker/daemon.json加入国内镜像源以加速拉取。{ registry-mirrors: [ https://registry.docker-cn.com, https://hub-mirror.c.163.com ] }修改后重启 Docker 服务sudo systemctl restart docker。系统资源内存 建议宿主机至少拥有4GB可用内存。Doris 的 FE 和 BE 对内存有一定要求特别是进行查询时。磁盘空间 建议预留10GB以上空间用于存放 Docker 镜像和 Doris 数据。网络与端口 确保宿主机的以下端口未被占用Doris 容器会映射这些端口到宿主机8030 FE HTTP 端口用于 Web UI 和某些接口9030 FE MySQL 协议端口用于客户端连接如 MySQL 客户端、JDBC8040 BE HTTP 端口9050 BE 心跳服务端口内部通信4. 核心流程拆解整个部署过程可以清晰地分为四个阶段我们将按顺序进行确保每一步都稳固。第一阶段获取 Doris Docker 镜像我们选择 Apache Doris 官方在 Docker Hub 上维护的镜像这保证了稳定性和安全性。镜像包含了运行所需的所有组件。第二阶段启动 Frontend (FE) 节点FE 是集群的入口必须先启动。我们需要为其配置持久化存储以保证元数据在容器重启后不丢失。第三阶段启动 Backend (BE) 节点并加入集群BE 节点启动后并不会自动加入集群需要通过 FE 的 Web UI 或 SQL 命令手动添加这是一个关键步骤。第四阶段集群验证与基本操作确认 FE 和 BE 状态健康后我们通过 MySQL 客户端连接 Doris执行简单的建表、插入、查询操作验证整个集群工作正常。5. 完整示例与代码实现接下来我们进入具体的实操环节。请打开你的终端跟随步骤一步步执行。5.1 拉取官方 Docker 镜像首先从 Docker Hub 拉取指定版本的 Doris 镜像。这里我们以较新的2.0.4版本为例。你也可以在 Apache Doris Docker Hub 查看所有可用版本。# 拉取 FE 镜像 docker pull apache/doris:2.0.4-fe-x86_64 # 拉取 BE 镜像 docker pull apache/doris:2.0.4-be-x86_64 # 查看拉取的镜像 docker images | grep doris关键点-x86_64表示镜像架构。如果你的机器是 ARM 架构如 Apple Silicon Mac需要寻找或构建对应的 ARM 版本镜像。5.2 创建持久化数据目录为了避免容器删除后数据丢失我们在宿主机上创建目录用于持久化存储 FE 的元数据和 BE 的数据。# 创建一个总目录方便管理 mkdir -p ~/doris-docker/data # 创建 FE 元数据存储目录 mkdir -p ~/doris-docker/data/fe/doris-meta # 创建 BE 数据存储目录 mkdir -p ~/doris-docker/data/be/storage # 查看目录结构 tree ~/doris-docker -L 3关键点 务必确保这些目录存在并且 Docker 进程有读写权限通常以 root 用户运行的 Docker 默认有权限。5.3 启动 Frontend (FE) 容器现在启动第一个 FE 节点。我们将其设置为集群的“领导者”。docker run -d \ --name doris-fe \ --hostname doris-fe \ -p 8030:8030 \ -p 9030:9030 \ -v ~/doris-docker/data/fe/doris-meta:/opt/apache-doris/fe/doris-meta \ -e FE_SERVERSfe1:172.20.80.2:9010 \ -e FE_ID1 \ apache/doris:2.0.4-fe-x86_64参数解释-d: 后台运行容器。--name: 为容器指定一个易读的名称。--hostname: 设置容器主机名在某些网络模式下有助于识别。-p: 端口映射。将容器内的8030(Web UI) 和9030(MySQL) 端口映射到宿主机相同端口。-v: 卷挂载。将宿主机目录挂载到容器内 FE 的元数据目录实现持久化。-e FE_SERVERS: 环境变量定义 FE 服务器列表。格式为名称:IP:端口。这里是单节点IP 使用了 Docker 网络中的常见网关地址实际中可能需要调整。-e FE_ID: 指定该 FE 节点的 ID必须唯一。启动后检查容器状态docker ps | grep doris-fe # 查看启动日志确认无报错 docker logs -f --tail 50 doris-fe当在日志中看到thrift server started with port[9020]和http server started with port[8030]等关键信息时说明 FE 启动成功。5.4 访问 FE Web UI 并初始化FE 启动后我们可以通过 Web UI 进行初步验证。打开浏览器访问http://你的服务器IP:8030。使用默认账号登录用户名:root密码: 默认为空直接点击登录。登录后你应该能看到 Doris 的管理界面。首次使用可能会提示你初始化集群按照向导操作即可通常只需设置 root 密码。请务必在此处设置一个强密码例如Doris2024。5.5 启动 Backend (BE) 容器FE 健康运行后启动 BE 节点。docker run -d \ --name doris-be \ --hostname doris-be \ --network container:doris-fe \ -p 8040:8040 \ -v ~/doris-docker/data/be/storage:/opt/apache-doris/be/storage \ -e FE_SERVERSfe1:172.20.80.2:9010 \ -e BE_ADDR172.20.80.3:9050 \ apache/doris:2.0.4-be-x86_64参数解释--network container:doris-fe: 这是一个关键参数。它让 BE 容器共享 FE 容器的网络命名空间。这意味着 BE 容器可以直接使用 FE 容器的 IP 地址通常是172.20.80.2进行通信简化了网络配置。这是单机部署的常用技巧。-p 8040:8040: 映射 BE 的 HTTP 端口。-v: 挂载 BE 数据存储目录。-e BE_ADDR: 指定 BE 自身的心跳服务地址。同样检查 BE 容器状态和日志docker ps | grep doris-be docker logs -f --tail 50 doris-be等待日志中出现heartbeat success之类的信息表明 BE 已启动并开始尝试向 FE 注册。5.6 将 BE 节点添加到集群BE 启动后并不会自动加入集群需要手动在 FE 中执行添加命令。这里有两种方法方法一通过 MySQL 客户端连接执行 SQL推荐# 使用宿主机上的 mysql 客户端连接 Doris FE (端口 9030) # 密码就是在 Web UI 中设置的密码 mysql -h 127.0.0.1 -P 9030 -uroot -p # 连接成功后执行以下 SQL 添加 BE 节点。 # 这里的 IP 和端口需要与 BE 容器的心跳地址一致。 # 由于我们使用了 --network containerBE 对外的地址就是 FE 的地址但端口是 BE 自己的心跳端口9050。 # 更通用的方法是使用 Docker 网络内的 IP。我们可以先进入 BE 容器查看其 IP。 # 1. 首先获取 BE 容器在共享网络中的实际 IP docker exec doris-be cat /etc/hosts | grep doris-be # 假设输出为 172.20.80.3 doris-be那么这个 172.20.80.3 就是 BE 的 IP。 # 2. 在 MySQL 客户端中执行 ALTER SYSTEM ADD BACKEND 172.20.80.3:9050;方法二通过 FE Web UI 操作登录 FE Web UI (http://IP:8030)。在顶部导航栏进入“集群管理”-“后端节点”。点击“添加后端”按钮。在弹出的对话框中填写 BE 的IP和心跳端口9050然后确认。添加成功后在“后端节点”页面或通过 SQLSHOW BACKENDS\G命令可以看到该 BE 节点的状态。关键要看Alive列是否为true以及LastStartTime是否正常。6. 运行结果与效果验证集群搭建完成后我们必须进行一系列操作来验证其功能是否完全正常。6.1 验证集群状态在 MySQL 客户端中执行以下命令-- 查看前端节点状态 SHOW PROC /frontends\G -- 查看后端节点状态 SHOW BACKENDS\G对于SHOW BACKENDS\G的输出请务必确认Alive: trueSystemDecommissioned: falseClusterDecommissioned: falseTabletNum大于 0表示有系统表没有明显的错误信息。6.2 执行端到端测试现在我们创建一个测试数据库、表插入数据并查询完成一个完整的闭环。-- 1. 创建测试数据库 CREATE DATABASE IF NOT EXISTS test_db; USE test_db; -- 2. 创建一张明细表Duplicate Key 模型 CREATE TABLE IF NOT EXISTS test_table ( user_id INT, date DATE, city VARCHAR(20), age SMALLINT, last_visit DATETIME ) DUPLICATE KEY(user_id, date) DISTRIBUTED BY HASH(user_id) BUCKETS 1 PROPERTIES ( replication_num 1 ); -- 3. 插入测试数据 INSERT INTO test_table VALUES (1001, 2024-05-01, 北京, 25, 2024-05-01 10:00:00), (1002, 2024-05-01, 上海, 30, 2024-05-01 11:00:00), (1003, 2024-05-02, 广州, 28, 2024-05-02 09:30:00); -- 4. 查询数据 SELECT * FROM test_table ORDER BY date; -- 5. 进行聚合查询 SELECT city, COUNT(*) as user_count, AVG(age) as avg_age FROM test_table GROUP BY city;如果以上所有步骤都能成功执行并返回正确结果那么恭喜你一个基于 Docker 的 Apache Doris 单机集群已经部署并验证成功7. 常见问题与排查思路部署过程中难免会遇到问题下表列出了典型问题及其解决方法。问题现象可能原因排查方式解决方案FE 容器启动失败日志报错端口被占用宿主机8030或9030端口已被其他进程使用。1.netstat -tlnp | grep :80302.docker logs doris-fe查看错误日志。1. 停止占用端口的进程。2. 或修改docker run -p参数映射到其他宿主机端口如-p 18030:8030。BE 添加失败SHOW BACKENDS显示Alive: false1. 网络不通FE 无法访问 BE 的心跳端口9050。2. BE 启动参数或配置错误。1. 进入 FE 容器pingBE 的 IP。2. 进入 FE 容器telnet BE_IP 9050测试端口。3. 查看 BE 日志docker logs doris-be关注心跳错误。1.最可能的原因IP地址不对。确保ALTER SYSTEM ADD BACKEND使用的 IP 是 BE 容器在Docker 网络内的 IP不是宿主机IP。使用docker inspect doris-be | grep IPAddress或docker exec doris-be hostname -i获取。2. 检查docker run时-e BE_ADDR是否设置正确。通过 MySQL 客户端无法连接9030端口1. FE 未成功启动。2. 防火墙/安全组阻止了端口。3. 客户端连接命令错误。1.docker ps确认 FE 容器在运行。2.docker logs doris-fe查看是否有thrift server started。3. 在宿主机上telnet 127.0.0.1 9030测试。1. 确保 FE 容器健康运行。2. 关闭防火墙或放行端口sudo ufw allow 9030(Ubuntu)。3. 连接命令mysql -h 宿主机IP -P 9030 -uroot -p。执行INSERT或CREATE TABLE非常慢或超时BE 节点状态异常或副本数 (replication_num) 设置不合理。1. 执行SHOW BACKENDS\G确认所有 BEAlive为true。2. 检查建表语句的PROPERTIES中replication_num是否小于等于健康的 BE 节点数。单机部署只能设为1。1. 修复 BE 节点状态。2. 单机单 BE 部署时所有表的replication_num必须为1。Web UI (8030端口) 可以访问但页面加载异常或功能不全浏览器缓存或前端资源加载问题。尝试使用浏览器无痕模式访问或清除浏览器缓存。通常刷新页面或清除缓存即可解决。这是前端静态资源问题不影响后端服务。8. 最佳实践与工程建议成功部署只是第一步要让这个 Docker 化的 Doris 集群更稳定、更易用还需要注意以下几点使用 Docker Compose 编排 对于多容器应用强烈建议使用docker-compose.yml文件来定义和管理服务。这能固化所有配置参数实现一键启动/停止是更工程化的做法。# docker-compose.yml 示例 version: 3.8 services: doris-fe: image: apache/doris:2.0.4-fe-x86_64 container_name: doris-fe hostname: doris-fe ports: - 8030:8030 - 9030:9030 volumes: - ./data/fe/doris-meta:/opt/apache-doris/fe/doris-meta environment: - FE_SERVERSfe1:172.20.80.2:9010 - FE_ID1 networks: doris-net: ipv4_address: 172.20.80.2 doris-be: image: apache/doris:2.0.4-be-x86_64 container_name: doris-be hostname: doris-be ports: - 8040:8040 volumes: - ./data/be/storage:/opt/apache-doris/be/storage environment: - FE_SERVERSfe1:172.20.80.2:9010 - BE_ADDR172.20.80.3:9050 depends_on: - doris-fe networks: doris-net: ipv4_address: 172.20.80.3 networks: doris-net: driver: bridge ipam: config: - subnet: 172.20.80.0/24使用docker-compose up -d启动docker-compose down停止。数据备份与迁移 定期备份挂载到宿主机的~/doris-docker/data目录。如果需要迁移将整个目录拷贝到新机器并确保新环境的 Docker 镜像版本与之前一致然后使用相同的docker run或docker-compose命令启动即可恢复集群。资源限制与监控 在生产测试环境中应为容器设置资源上限避免单个容器耗尽宿主机资源。docker run -d \ --name doris-fe \ --memory4g \ # 限制内存 --cpus2 \ # 限制 CPU 核数 ...同时可以使用docker stats命令实时监控容器资源使用情况。安全加固修改默认密码 首次登录 Web UI 后务必修改root用户的密码。网络隔离 在生产环境中不要将9030、8030等管理端口直接暴露在公网。应通过跳板机、VPN 或内部网络访问。最小权限原则 创建业务专用的数据库用户并授予其最小必要的权限避免直接使用root账户。版本管理 在docker run或docker-compose.yml中明确指定 Doris 镜像版本如2.0.4避免使用latest标签以保证环境的一致性。通过 Docker 部署 Apache Doris我们成功地将一个复杂分布式系统的搭建过程简化为几条可重复的命令。这种方法的真正价值在于其可复现性和环境纯净性它让开发者能专注于 Doris 本身的功能特性和性能测试而不是纠缠于环境配置的泥潭。对于下一步你可以基于这个本地集群深入探索 Doris 的核心特性例如数据导入 尝试使用Stream Load、Broker Load从本地文件或 HDFS/S3 导入数据。表引擎 体验Aggregate、Unique和Duplicate数据模型的不同适用场景。物化视图 创建物化视图来加速特定查询。查询优化 使用EXPLAIN命令分析查询计划。当你需要扩展到多机集群时思路是相通的为每个 FE 和 BE 准备独立的宿主机或容器规划好网络确保 IP 可互通然后逐个启动并通过 FE 添加节点即可。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度