30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度最近在搭建实时数仓测试环境时选择了 Apache Doris 作为核心分析引擎并计划使用 Docker 进行容器化部署。本以为照着官方文档能一帆风顺没想到在配置和注册 FEFrontend与 BEBackend节点的环节接连踩坑从网络不通、配置失效到元数据丢失问题层出不穷。本文将基于这次实战经历完整复盘从 Docker 环境准备、Doris 镜像获取、FE/BE 节点配置与启动到最终成功组建集群的全过程并重点剖析那些容易忽略的“坑点”及其解决方案。无论你是初次接触 Doris 的新手还是正在寻求容器化部署最佳实践的开发者这份踩坑实录都能帮你少走弯路。1. 背景与核心概念为什么选择 Docker 部署 Doris在深入实战之前我们有必要厘清几个关键概念这能帮助我们理解后续每一步操作的意义。Apache Doris是一个基于 MPP大规模并行处理架构的高性能、实时的分析型数据库。它主要面向在线分析处理OLAP场景例如报表分析、即席查询、用户行为分析等。其架构主要由两类节点组成FEFrontend前端节点负责接收和解析 SQL 请求、元数据管理、查询计划生成与调度、集群管理。FE 节点分为 Leader、Follower 和 Observer 三种角色通常需要奇数个如1或3个来保证高可用。BEBackend后端节点负责数据存储、查询计划执行。它是真正进行数据计算和扫描的节点可以水平扩展以提升集群整体计算和存储能力。那么为什么用 Docker 部署 Doris环境隔离与一致性Docker 容器提供了与宿主机隔离的运行时环境确保 Doris 所需的 Java 版本、库依赖等完全一致避免因环境差异导致的“在我机器上好好的”问题。快速部署与销毁通过镜像和docker-compose可以在几分钟内拉起一个包含多个 FE 和 BE 节点的完整集群测试完成后一键清理非常适合开发、测试和 PoC概念验证场景。资源可控可以方便地通过 Docker 限制每个容器节点使用的 CPU、内存资源模拟不同规格的服务器。简化运维配置、日志、数据都可以通过 Volume卷映射到宿主机方便查看和管理。然而Docker 部署也带来了新的挑战网络配置。容器有自己的网络命名空间FE 和 BE 节点之间需要能够互相通信并且对外需要提供访问接口。如何正确配置容器网络、主机名、以及 Doris 自身的节点地址是成功部署的关键也是踩坑的重灾区。2. 环境准备与版本说明在开始之前请确保你的操作环境满足以下要求。本文的演示环境如下但核心思路适用于多数 Linux 发行版和 macOS。宿主机操作系统Ubuntu 22.04 LTS (理论上 CentOS 7, macOS 也可行)Docker 引擎Docker Engine 24.0.6 或更高版本。务必确保 Docker 服务已启动。# 检查Docker版本及状态 docker --version sudo systemctl status dockerDocker Composev2.20.0 或更高版本。推荐使用 Docker Desktop内置或独立安装。docker compose versionApache Doris 版本本文选用Apache Doris 2.0.4版本。这是当前一个稳定且功能丰富的版本。你可以在 Apache Doris 官网下载页 找到镜像或发布包。资源要求建议为 Docker 分配至少 4GB 内存。每个 FE 容器建议分配 1-2GB每个 BE 容器建议分配 2-4GB具体视数据量而定。重要提示生产环境部署 Doris 通常建议使用物理机或虚拟机以获得更佳的性能和稳定性。Docker 部署更适用于开发、测试、学习环境。3. 核心原理与部署规划3.1 Doris 节点通信原理理解节点如何通信是正确配置的基础FE 之间通过edit_log_port默认 9010进行元数据同步。所有 FE 需要能通过此端口相互访问。FE 与 BE 之间BE 向 FE 的query_port默认 9030发送心跳、报告负载信息。FE 向 BE 的heartbeat_service_port默认 9050发送心跳检查。FE 将查询计划下发给 BE 的be_port默认 9060执行。客户端访问通过 MySQL 协议连接到 FE 的query_port默认 9030执行 SQL。在 Docker 中我们需要确保这些端口在容器网络内是互通的并且需要将 FE 的9030和8030Web UI端口映射到宿主机以便外部访问。3.2 本次部署规划我们将部署一个最小化的高可用集群FE 节点1 个 Leader 1 个 Follower共 2 个生产环境建议至少3个。我们将它们放在同一个自定义 Docker 网络中。BE 节点2 个用于数据存储与计算同样接入上述网络。网络创建一个名为doris-network的桥接网络让所有容器在此网络内互通。数据持久化将 Doris 的元数据FE和存储数据BE通过 Volume 映射到宿主机目录防止容器销毁后数据丢失。目录结构规划如下~/doris-docker/ ├── docker-compose.yml # 编排文件 ├── fe/ │ ├── fe1/ # FE Leader 配置和数据 │ │ ├── conf/ │ │ ├── log/ │ │ └── doris-meta/ │ └── fe2/ # FE Follower 配置和数据 │ ├── conf/ │ ├── log/ │ └── doris-meta/ ├── be/ │ ├── be1/ # BE Node1 配置和数据 │ │ ├── conf/ │ │ ├── log/ │ │ └── storage/ │ └── be2/ # BE Node2 配置和数据 │ ├── conf/ │ ├── log/ │ └── storage/ └── scripts/ # 可能用到的初始化脚本4. 完整实战使用 Docker Compose 部署 Doris 集群我们采用docker-compose来定义和运行多容器应用这是管理多节点 Doris 集群最清晰的方式。4.1 准备目录与配置文件首先创建项目根目录并进入。mkdir -p ~/doris-docker/{fe/fe1,fe/fe2,be/be1,be/be2,scripts} cd ~/doris-docker第一步创建 Docker 网络我们手动创建一个网络以便更好地控制子网和网关。docker network create --subnet172.20.0.0/16 doris-network第二步准备 FE 配置文件FE 的核心配置文件是fe.conf。我们需要为fe1和fe2分别准备。fe/fe1/conf/fe.conf(FE Leader 候选)# 优先级配置数字越小优先级越高用于选举Leader priority_networks 172.20.0.0/16 meta_dir /opt/apache-doris/fe/doris-meta http_port 8030 rpc_port 9020 query_port 9030 edit_log_port 9010 # 指定本机IP容器内IP这是关键不能是127.0.0.1 # 我们将在docker-compose中通过环境变量注入 # fe_host 将在启动命令中设置fe/fe2/conf/fe.conf(FE Follower)priority_networks 172.20.0.0/16 meta_dir /opt/apache-doris/fe/doris-meta http_port 8030 rpc_port 9020 query_port 9030 edit_log_port 9010 # 同样fe_host 通过环境变量注入关键踩坑点 1priority_networks这个配置用于指定 FE 节点用来通信的 IP 地址范围。在 Docker 中必须设置为容器所在网络的子网如172.20.0.0/16这样 FE 才能正确识别并使用容器 IP 进行集群内部通信。如果设置错误或未设置会导致 FE 节点无法组成集群。第三步准备 BE 配置文件be/be1/conf/be.confbe_port 9060 webserver_port 8040 heartbeat_service_port 9050 brpc_port 8060 storage_root_path /opt/apache-doris/be/storage # 指定本机IP容器内IP # be_host 将在启动命令中设置be/be2/conf/be.conf内容相同。关键踩坑点 2storage_root_path这是 BE 节点数据存储的路径。我们通过 Docker Volume 将其映射到宿主机./be/be1/storage目录实现数据持久化。4.2 编写 Docker Compose 编排文件创建docker-compose.yml文件这是整个部署的核心。version: 3.8 services: # ---------- FE Leader ---------- fe-leader: image: apache/doris:2.0.4-fe-x86_64 container_name: doris-fe-leader hostname: fe-leader # 设置容器主机名 networks: doris-network: ipv4_address: 172.20.0.10 # 为容器指定固定IP便于识别和通信 ports: - 8031:8030 # Web UI宿主机8031映射到容器8030 - 9031:9030 # MySQL协议端口 environment: FE_HOST: 172.20.0.10 # 传递给启动脚本的环境变量 FE_ID: 1 volumes: - ./fe/fe1/conf:/opt/apache-doris/fe/conf # 挂载配置文件 - ./fe/fe1/log:/opt/apache-doris/fe/log # 挂载日志 - ./fe/fe1/doris-meta:/opt/apache-doris/fe/doris-meta # 挂载元数据 command: sh -c # 将环境变量写入fe.conf echo priority_networks 172.20.0.0/16 /opt/apache-doris/fe/conf/fe.conf echo meta_dir /opt/apache-doris/fe/doris-meta /opt/apache-doris/fe/conf/fe.conf echo http_port 8030 /opt/apache-doris/fe/conf/fe.conf echo rpc_port 9020 /opt/apache-doris/fe/conf/fe.conf echo query_port 9030 /opt/apache-doris/fe/conf/fe.conf echo edit_log_port 9010 /opt/apache-doris/fe/conf/fe.conf echo fe_host $${FE_HOST} /opt/apache-doris/fe/conf/fe.conf # 启动FE /opt/apache-doris/fe/bin/start_fe.sh --daemon # 保持容器运行 tail -f /opt/apache-doris/fe/log/fe.log restart: unless-stopped # ---------- FE Follower ---------- fe-follower: image: apache/doris:2.0.4-fe-x86_64 container_name: doris-fe-follower hostname: fe-follower networks: doris-network: ipv4_address: 172.20.0.11 ports: - 8032:8030 - 9032:9030 environment: FE_HOST: 172.20.0.11 FE_ID: 2 volumes: - ./fe/fe2/conf:/opt/apache-doris/fe/conf - ./fe/fe2/log:/opt/apache-doris/fe/log - ./fe/fe2/doris-meta:/opt/apache-doris/fe/doris-meta command: sh -c echo priority_networks 172.20.0.0/16 /opt/apache-doris/fe/conf/fe.conf echo meta_dir /opt/apache-doris/fe/doris-meta /opt/apache-doris/fe/conf/fe.conf echo http_port 8030 /opt/apache-doris/fe/conf/fe.conf echo rpc_port 9020 /opt/apache-doris/fe/conf/fe.conf echo query_port 9030 /opt/apache-doris/fe/conf/fe.conf echo edit_log_port 9010 /opt/apache-doris/fe/conf/fe.conf echo fe_host $${FE_HOST} /opt/apache-doris/fe/conf/fe.conf /opt/apache-doris/fe/bin/start_fe.sh --daemon tail -f /opt/apache-doris/fe/log/fe.log depends_on: - fe-leader restart: unless-stopped # ---------- BE Node 1 ---------- be-node1: image: apache/doris:2.0.4-be-x86_64 container_name: doris-be-node1 hostname: be-node1 networks: doris-network: ipv4_address: 172.20.0.20 environment: BE_HOST: 172.20.0.20 volumes: - ./be/be1/conf:/opt/apache-doris/be/conf - ./be/be1/log:/opt/apache-doris/be/log - ./be/be1/storage:/opt/apache-doris/be/storage command: sh -c echo be_port 9060 /opt/apache-doris/be/conf/be.conf echo webserver_port 8040 /opt/apache-doris/be/conf/be.conf echo heartbeat_service_port 9050 /opt/apache-doris/be/conf/be.conf echo brpc_port 8060 /opt/apache-doris/be/conf/be.conf echo storage_root_path /opt/apache-doris/be/storage /opt/apache-doris/be/conf/be.conf echo be_host $${BE_HOST} /opt/apache-doris/be/conf/be.conf /opt/apache-doris/be/bin/start_be.sh --daemon tail -f /opt/apache-doris/be/log/be.log depends_on: - fe-leader restart: unless-stopped # ---------- BE Node 2 ---------- be-node2: image: apache/doris:2.0.4-be-x86_64 container_name: doris-be-node2 hostname: be-node2 networks: doris-network: ipv4_address: 172.20.0.21 environment: BE_HOST: 172.20.0.21 volumes: - ./be/be2/conf:/opt/apache-doris/be/conf - ./be/be2/log:/opt/apache-doris/be/log - ./be/be2/storage:/opt/apache-doris/be/storage command: sh -c echo be_port 9060 /opt/apache-doris/be/conf/be.conf echo webserver_port 8040 /opt/apache-doris/be/conf/be.conf echo heartbeat_service_port 9050 /opt/apache-doris/be/conf/be.conf echo brpc_port 8060 /opt/apache-doris/be/conf/be.conf echo storage_root_path /opt/apache-doris/be/storage /opt/apache-doris/be/conf/be.conf echo be_host $${BE_HOST} /opt/apache-doris/be/conf/be.conf /opt/apache-doris/be/bin/start_be.sh --daemon tail -f /opt/apache-doris/be/log/be.log depends_on: - fe-leader restart: unless-stopped networks: doris-network: external: true # 使用我们预先创建好的网络关键踩坑点 3command中的配置生成我们没有直接使用挂载的静态fe.conf而是在容器启动时通过command动态生成。这样做有两个巨大好处一是可以灵活注入环境变量如FE_HOST二是避免了在宿主机上编辑配置文件时可能引入的格式错误如换行符问题。注意$${FE_HOST}的写法是为了在docker-compose的command块中正确转义环境变量。关键踩坑点 4固定 IP 与主机名我们为每个容器在doris-network中指定了固定的ipv4_address并设置了hostname。这确保了节点间可以通过固定 IP 可靠通信。Doris 内部可以使用主机名进行一些解析虽然不是必须但更规范。避免了 Docker 默认分配 IP 可能带来的变化。4.3 启动 Doris 集群现在使用 Docker Compose 启动所有服务。# 在项目根目录 ~/doris-docker 下执行 docker compose up -d-d参数表示在后台运行。使用以下命令查看容器状态和日志# 查看所有容器状态 docker compose ps # 查看fe-leader的日志 docker compose logs -f fe-leader如果一切正常稍等片刻首次启动需要初始化你应该能看到 FE 和 BE 的启动日志没有明显的ERROR。4.4 初始化 FE 集群并添加 BE 节点容器启动后Doris 进程运行起来了但集群还未初始化。我们需要通过 MySQL 客户端连接到 FE执行初始化命令。第一步初始化第一个 FELeader连接到fe-leader容器端口映射到了宿主机的 9031。# 使用宿主机上的mysql客户端连接密码默认为空 mysql -h 127.0.0.1 -P 9031 -uroot如果提示mysql命令未找到可以进入容器内部操作docker exec -it doris-fe-leader /bin/bash # 在容器内使用mysql客户端 mysql -h 172.20.0.10 -P 9030 -uroot连接成功后执行以下 SQL 初始化 FE-- 设置root密码强烈建议修改 SET PASSWORD FOR root PASSWORD(your_strong_password_here); -- 添加 FE Follower 节点 -- 语法ALTER SYSTEM ADD FOLLOWER host:edit_log_port; ALTER SYSTEM ADD FOLLOWER fe-follower:9010; -- 或使用IP -- ALTER SYSTEM ADD FOLLOWER 172.20.0.11:9010;执行SHOW PROC /frontends;查看 FE 节点状态。fe-leader的Alive列应为trueRole为FOLLOWER初始化后还未选举。fe-follower的Alive列可能为false需要等待其启动并完成元数据同步。第二步启动并验证 FE Follower确保fe-follower容器日志没有报错。在fe-follower容器中也需要连接到集群以 Follower 身份启动。 由于我们在docker-compose.yml中已经通过command启动了 FE 进程并且配置了正确的fe_host和priority_networksfe-follower在启动时会自动尝试从fe-leader同步元数据。 再次在 MySQL 客户端执行SHOW PROC /frontends;等待片刻应该能看到两个 FE 的Alive都变为true并且其中一个的Role变为LEADER。第三步添加 BE 节点在 MySQL 客户端连接到 Leader FE执行-- 添加 BE 节点 -- 语法ALTER SYSTEM ADD BACKEND host:heartbeat_service_port; ALTER SYSTEM ADD BACKEND be-node1:9050; ALTER SYSTEM ADD BACKEND be-node2:9050; -- 或使用IP -- ALTER SYSTEM ADD BACKEND 172.20.0.20:9050; -- ALTER SYSTEM ADD BACKEND 172.20.0.21:9050;执行SHOW PROC /backends;查看 BE 节点状态。等待一段时间约几十秒Alive列应变为trueSystemDecommissioned和ClusterDecommissioned应为falseLastHeartbeat时间应不断更新。关键踩坑点 5添加节点时的“主机名”解析这里是最容易出错的地方在ALTER SYSTEM ADD ...命令中使用的host必须能被 Doris 集群内的其他节点访问。在 Docker 网络内使用容器 IP(172.20.0.xx) 是最可靠的。使用我们在docker-compose.yml中设置的hostname(fe-follower,be-node1) 也是可以的前提是 Docker 的内置 DNS 解析正常工作。如果遇到backend not found或心跳失败首先检查网络连通性 (docker exec进入容器ping对方主机名或IP)并考虑换用 IP 地址。4.5 验证集群部署完成以上步骤后你的 Doris 集群就已搭建完毕。Web UI 访问在浏览器中打开http://宿主机IP:8031使用root和你设置的密码登录。在“集群信息”中可以看到 FE 和 BE 节点都是健康的绿色状态。执行简单查询在 MySQL 客户端中创建一个表并插入数据验证集群功能。-- 创建测试数据库 CREATE DATABASE test_db; USE test_db; -- 创建测试表 CREATE TABLE test_table ( id INT, name VARCHAR(50), score DECIMAL(5,2) ) DISTRIBUTED BY HASH(id) BUCKETS 10 PROPERTIES(replication_num 2); -- 副本数为2我们的两个BE节点可以承载 -- 插入数据 INSERT INTO test_table VALUES (1, Alice, 95.5), (2, Bob, 88.0); -- 查询数据 SELECT * FROM test_table;如果查询成功返回数据恭喜你Docker 部署的 Doris 集群已经可以正常工作了5. 常见问题与排查思路在部署过程中你可能会遇到以下问题。这里提供排查思路。问题现象可能原因排查步骤与解决方案FE 启动失败日志报错Failed to get master client或地址绑定错误。1.fe.conf中fe_host配置错误如仍是127.0.0.1。2. 端口被占用。3. 挂载的配置文件格式错误如Windows换行符。1. 检查docker-compose中command生成的配置确保fe_host是容器在doris-network中的 IP。2. 检查宿主机端口8031/9031是否被占用可修改docker-compose.yml中的映射端口。3. 进入容器查看/opt/apache-doris/fe/conf/fe.conf实际内容docker exec doris-fe-leader cat /opt/apache-doris/fe/conf/fe.conf。BE 添加失败SHOW PROC /backends;显示Alive为false。1. 添加 BE 时使用了错误的主机名或端口。2. BE 节点无法与 FE Leader 通信。3. BE 的be.conf配置错误特别是be_host。4. 存储路径权限问题。1. 在 FE Leader 容器内尝试ping或telnetBE 容器的 IP 和9050端口。2. 确认ALTER SYSTEM ADD BACKEND命令中的 IP:Port 与 BE 配置的be_host和heartbeat_service_port一致。3. 检查 BE 日志docker compose logs be-node1看是否有启动错误。4. 确保 BE 容器对挂载的storage目录有读写权限。FE Follower 无法同步Alive一直为false。1. Follower 的fe.conf中edit_log_port与 Leader 不一致或无法连通。2. 初始化时ALTER SYSTEM ADD FOLLOWER命令中的地址错误。3. 网络不通。1. 检查 Follower 的日志看是否在连接 Leader 的edit_log_port(9010) 时失败。2. 确认ADD FOLLOWER使用了正确的容器 IP 或主机名。3. 在两个 FE 容器间互相ping和telnet9010 端口。客户端无法连接mysql: [ERROR] Unknown error 1045。1. 密码错误。2. 连接到了非 Leader FE且该 Follower 尚未同步完用户信息。1. 确认密码如果忘记可以在 Leader FE 容器内使用--skip-grant-tables方式重置生产环境慎用。2. 确保连接到 Leader FE 的端口宿主机9031。容器启动后立即退出。1.command命令执行失败。2. 启动脚本依赖的环境变量缺失。3. 镜像本身有问题。1. 查看容器日志docker compose logs --tail50 service_name。2. 检查docker-compose.yml中environment和command的语法特别是$${VAR}的转义。3. 尝试运行一个简单的交互式容器测试镜像docker run -it apache/doris:2.0.4-fe-x86_64 /bin/bash。通用排查命令# 1. 查看所有容器状态 docker compose ps # 2. 查看特定服务日志 docker compose logs -f fe-leader # 3. 进入容器内部检查 docker exec -it doris-fe-leader /bin/bash # 4. 检查网络连通性在容器内执行 ping 172.20.0.11 telnet 172.20.0.11 9010 # 5. 检查进程是否运行在容器内执行 jps # 查看Java进程应有 PaloFe 进程 ps aux | grep doris6. 最佳实践与工程建议基于踩坑经验总结以下最佳实践可以帮助你构建更稳定、可维护的 Docker 化 Doris 环境。配置管理动态生成优于静态挂载如本文所示在command中根据环境变量动态生成配置文件避免了宿主机与容器环境差异和文件格式问题。使用环境变量将 IP、端口、密码等敏感或易变信息通过environment注入提高配置灵活性。分离配置与数据conf,log,meta,storage务必使用 Volume 持久化到宿主机不同目录。网络规划使用自定义网络并固定IP这是保证多节点容器间稳定通信的基石。避免使用默认的bridge网络。主机名解析虽然可以使用 IP但为容器设置有意义的hostname并在配置中使用可以使配置更清晰。确保 Docker 网络 DNS 正常工作。数据持久化与备份定期备份 FE 元数据FE 的doris-meta目录至关重要。定期将其备份到安全的地方。可以写一个 cron 任务定时docker cp或直接备份宿主机挂载目录。BE 存储规划storage_root_path可以配置多个路径用;分隔。在 Docker 中可以挂载多个 Volume 到不同路径模拟多磁盘。确保宿主机有足够磁盘空间。资源限制与监控在docker-compose.yml中设置资源限制services: fe-leader: deploy: resources: limits: memory: 2G cpus: 1.0监控日志将容器的log目录挂载出来便于使用 ELK 或 Graylog 等工具进行集中日志管理和告警。高可用与扩展FE 节点数量生产环境至少部署 3 个 FE1 Leader 2 Follower以实现高可用。Observer 可用于跨机房只读扩展。BE 节点扩展只需在新容器中配置好 BE然后在 Leader FE 中执行ALTER SYSTEM ADD BACKEND即可轻松水平扩展。使用编排工具在生产环境考虑使用 Kubernetes 进行编排配合 StatefulSet 管理有状态服务实现更强大的自愈和扩缩容能力。安全加固修改默认密码部署后第一时间修改root密码。网络隔离仅将 FE 的query_port(9030) 和http_port(8030) 暴露给应用端BE 节点不应对外暴露。镜像安全使用官方镜像或从可信源构建定期更新镜像以获取安全补丁。通过以上步骤和最佳实践你应该能够顺利地在 Docker 环境中部署并管理一个 Apache Doris 集群。这套方法不仅适用于本地开发测试经过适当的调整如使用更可靠的存储卷驱动、配置资源限制和健康检查也可以作为云上轻量级部署的参考方案。记住理解 Doris 的架构原理和 Docker 的网络模型是避开所有坑的关键。 30款热门AI模型一站整合DeepSeek/GLM/Qwen 随心用限时 5 折。 点击领海量免费额度