1. 项目概述为什么选择OceanBase最近几年国产数据库的声量越来越大从实验室走向了越来越多的核心生产环境。OceanBase作为其中的佼佼者以其原生分布式、高可用、强一致和高度兼容传统数据库特别是Oracle和MySQL的特性吸引了大量开发者和企业的目光。你可能在技术新闻里看到过它处理“双十一”海量交易的消息也可能在招聘要求里见过“熟悉OceanBase者优先”的字样。但说实话对于大多数开发者而言它依然带着一层神秘面纱感觉是“大厂专属”部署复杂遥不可及。我最初接触OceanBase也是抱着试试看的心态想在自己的开发环境里搭一套玩玩。结果发现虽然官方文档很全但真正从零开始走一遍安装配置还是会遇到不少“坑”有些细节官方文档一笔带过却恰恰是卡住新手的关键。今天这篇内容我就以一个一线开发者的视角带你完整走一遍OceanBase单机版的安装和基础配置流程。我们的目标不是搭建一个生产级集群而是在一台普通的Linux服务器甚至是一台配置好点的虚拟机上快速搭建一个可用的OceanBase数据库环境用于学习、开发和功能验证。为什么值得花时间折腾这个首先技能储备。了解主流分布式数据库的架构和玩法绝对是简历上的加分项。其次技术选型。当你未来的项目面临高并发、海量数据存储的挑战时多一个经过实战检验的选项总是好的。最后兼容性验证。如果你的老系统基于Oracle或MySQL想平滑迁移或做技术栈升级OceanBase的兼容模式是一个非常重要的测试环节。好了闲话少叙我们直接进入正题看看怎么把这套“大家伙”请到我们的机器上。2. 环境准备与前置条件梳理在真正动手敲命令之前充分的准备工作能避免至少80%的后续问题。OceanBase对运行环境有一定要求我们需要逐一核对。2.1 硬件与操作系统要求OceanBase设计之初就是为了高性能和高可靠因此它对底层资源有一定“胃口”。对于单机部署我们本次的目标官方推荐的最低配置如下CPU: 至少4核。建议8核或以上因为OceanBase的日志模块、网络线程等会占用不少CPU资源。内存:这是最关键的资源。最低要求8GB但强烈建议16GB或以上。OceanBase的内存主要分为三部分系统预留内存、租户内存用于运行SQL和缓存MemStore。内存不足是启动失败最常见的原因。磁盘: 至少需要50GB的可用空间。建议使用SSD因为OceanBase的日志Clog和存储SSTable都是IO密集型操作机械硬盘会成为严重的性能瓶颈。另外需要关注/tmp目录的空间安装过程中会使用。操作系统: 主流的Linux发行版均可。官方对CentOS 7、RHEL 7、Ubuntu 16.04/18.04、Anolis OS等有较好的支持。我本次演示的环境是CentOS 7.9。注意务必关闭防火墙或配置好相关端口策略。OceanBase会使用多个端口如RPC端口默认2881、2882、SQL访问端口默认2883等。在实验环境我通常直接关闭防火墙systemctl stop firewalld和systemctl disable firewalld。生产环境请务必按需配置安全组或iptables规则。2.2 系统参数与依赖检查OceanBase的高性能依赖于操作系统内核参数的优化。我们需要手动调整一些关键参数。别怕这些调整都有明确的理由。修改资源限制编辑/etc/security/limits.conf文件在末尾添加以下内容。这主要是为了解除进程打开文件数和用户进程数的限制防止在高并发场景下出现“Too many open files”或资源不足的错误。* soft nofile 655350 * hard nofile 655350 * soft nproc 655350 * hard nproc 655350 * soft core unlimited * hard core unlimited * soft stack 20480 * hard stack 20480修改后需要重新登录当前会话才能生效或者对当前shell执行ulimit -n 655350临时生效。调整内核参数编辑/etc/sysctl.conf文件添加或修改以下参数。这些参数影响着系统的网络性能、内存管理和异步IO。# 网络相关 net.core.somaxconn 2048 net.core.netdev_max_backlog 10000 net.core.rmem_default 16777216 net.core.wmem_default 16777216 net.core.rmem_max 16777216 net.core.wmem_max 16777216 net.ipv4.ip_local_port_range 3500 65535 net.ipv4.tcp_rmem 4096 87380 16777216 net.ipv4.tcp_wmem 4096 65536 16777216 net.ipv4.tcp_max_syn_backlog 16384 net.ipv4.tcp_fin_timeout 15 net.ipv4.tcp_max_syn_backlog 16384 net.ipv4.tcp_tw_reuse 1 net.ipv4.tcp_tw_recycle 0 # 内存与IO相关 vm.swappiness 0 vm.min_free_kbytes 2097152 fs.aio-max-nr 1048576 fs.file-max 6815744保存后执行sysctl -p使配置立即生效。安装基础依赖确保系统已安装必要的工具包。# 对于 CentOS/RHEL yum install -y libaio-devel flex bison automake libtool make gcc gcc-c glibc glibc-devel glib2-devel libstdc-static m4 python3 python3-devel openssl-devel zlib-devel telnetlibaio是异步IO库对数据库性能至关重要python3是OceanBase部署工具obd的运行依赖。2.3 创建专用用户与目录不建议直接使用root用户运行OceanBase。创建一个专用的系统用户是更安全、规范的做法。# 创建用户组和用户 groupadd admin useradd -g admin admin # 为admin用户设置密码 passwd admin # 创建OceanBase相关的数据目录和日志目录并授权给admin用户 mkdir -p /home/admin/oceanbase/{data, log, slog, etc} chown -R admin:admin /home/admin/oceanbase这里data用于存储数据文件log用于运行日志slog用于存储共享日志Clogetc可以存放配置文件。3. 部署工具OBD详解与安装OceanBase官方提供了一个非常友好的集群部署和管理工具——OceanBase Deployer简称OBD。它用Python编写通过简单的YAML配置文件就能自动化完成整个集群的安装、启动、停止和升级大大降低了部署门槛。3.1 安装OBD安装OBD有多种方式最推荐的是通过OceanBase的官方软件源安装能自动解决依赖问题。# 1. 安装OceanBase的官方yum仓库 sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://mirrors.aliyun.com/oceanbase/OceanBase.repo # 2. 安装ob-deploy即OBD sudo yum install -y ob-deploy # 3. 验证安装 obd --version如果输出类似OceanBase Deploy: x.x.x的版本信息说明安装成功。实操心得网络环境不好的情况下从官方源下载可能会很慢。你也可以选择直接下载RPM包安装或者更彻底一点使用pip安装pip3 install ob-deploy。但通过yum安装能确保系统级的依赖被正确管理。3.2 OBD的核心概念与工作流程在写配置文件之前理解OBD的几个核心概念很重要集群Cluster一个OceanBase数据库服务实体由多个Zone组成。Zone通常对应一个机房或一个可用区是容灾和高可用的单元。在单机部署中我们通常只配置一个Zone。OBServerOceanBase数据库的服务进程每个节点运行一个。它包含了SQL引擎、存储引擎、事务管理等所有核心模块。我们单机部署就是启动一个OBServer进程。组件Component除了OBServer一个完整的集群可能还包括OBProxy路由代理、OCP运维管理平台等。我们单机学习暂时只需要OBServer。OBD的工作流程可以简化为编写描述集群拓扑和资源的YAML配置文件 - OBD解析配置从镜像源拉取对应版本的软件包 - 根据配置初始化目录、分发软件、启动进程 - 汇报部署结果。4. 配置文件深度解析与定制这是整个部署过程的“灵魂”。OBD的所有行为都由一个YAML配置文件驱动。我们需要为单机部署量身定制一个。4.1 基础配置骨架在任意位置例如/home/admin下创建一个文件命名为single-ob.yaml。## single-ob.yaml oceanbase-ce: # 指定要安装的OceanBase社区版版本号建议使用一个明确的稳定版 version: 4.2.1.0 # 全局的服务器列表这里我们只有一台机器 servers: - name: ob-server-1 # 请务必替换为你自己机器的IP地址不要用127.0.0.1 ip: 192.168.1.100 # 全局的SSH访问配置OBD会用这个用户去远程操作服务器 global: # 使用我们之前创建的admin用户 user: admin # 如果配置了密钥登录这里是私钥路径。我们先用密码方式。 # key_file: /home/admin/.ssh/id_rsa # 使用密码登录实验环境方便起见生产环境强烈建议用密钥 password: your_admin_user_password # SSH端口 ssh_port: 22 # OceanBase软件安装的基目录 home_path: /home/admin/observer # 数据文件、日志等的根目录 data_dir: /home/admin/oceanbase/data # 数据库redo日志Clog目录 redo_dir: /home/admin/oceanbase/slog # 进程日志目录 log_dir: /home/admin/oceanbase/log # OBServer的配置段 observer: # 当前服务器列表引用上面servers里定义的 servers: - 192.168.1.100 # 集群的全局唯一ID可以自己定义一个数字 cluster_id: 1 # 集群名 cluster_name: ob-single # 当前Zone的名字 zone_name: zone1 # 当前节点的唯一标识格式通常是 集群名:zone名:节点编号 appname: ob-single:zone1:observer1 # 监听SQL请求的端口类似MySQL的3306 mysql_port: 2881 # 内部RPC通信端口 rpc_port: 2882 # 数据存储目录会放在 global.data_dir 下面 datafile_size: 50G # 日志盘大小 log_disk_size: 30G # 内存相关配置这是重中之重 memory_limit: 8G system_memory: 4G # 每个CPU核的线程数配置 cpu_count: 4 # 开发模式会放宽一些检查适合资源有限的单机环境 dev_mode: true4.2 关键参数调优指南上面的配置模板可以跑起来但要跑得稳你需要理解几个关键参数并根据自己机器的实际情况调整memory_limit和system_memorymemory_limit指定OBServer进程可以使用的总内存上限。这个值必须小于你机器的物理空闲内存。例如你机器有16G内存系统和其他进程用了3G那么这里设置8G-10G是安全的。system_memoryOceanBase内部系统租户sys租户保留的内存用于管理、心跳等。一般设置为memory_limit的30%-50%。在内存紧张时比如总内存8G可以设小一点比如2G或3G。计算公式简化memory_limit 系统总内存 - 系统预留2-3G - 其他进程占用。剩下的内存会分配给后续创建的用户租户使用。datafile_size和log_disk_sizedatafile_size数据文件SSTable的初始大小。它会被格式化成OceanBase的内部格式。即使你只存1KB数据也会先占用这么多空间。建议根据磁盘空间设置单机学习50G足够。log_disk_sizeredo日志Clog的磁盘空间大小。所有数据修改先写日志。它的大小会影响数据恢复能力和可存储的未持久化数据量。建议是datafile_size的50%-100%。dev_mode: true这个参数极其重要对于单机低资源环境。开启后OceanBase会放宽对内存、CPU核数等资源的严格检查允许你在低于生产推荐配置的环境下启动。这是能让OceanBase在个人开发机或小内存虚拟机上跑起来的关键开关。踩坑记录我最开始没设dev_mode在8G内存的虚拟机上即使memory_limit只设了4GOBServer也一直启动失败报错提示内存不足。后来加上dev_mode: true就顺利通过了。所以如果你是学习环境务必开启此选项。5. 完整部署流程与启动实战配置文件准备妥当后剩下的就是交给OBD执行了。这个过程是全自动的但我们需要观察日志理解每一步在做什么。5.1 部署与启动命令# 1. 切换到admin用户因为我们的目录权限是给admin的 su - admin # 输入密码 # 2. 使用OBD部署集群假设配置文件在 /home/admin/single-ob.yaml obd cluster deploy ob-single -c /home/admin/single-ob.yaml这个deploy命令会做以下几件事检查本地是否有指定版本4.2.1.0的OceanBase软件包如果没有会从配置的镜像源下载。将软件包分发到目标服务器本例是本机。根据配置文件在指定的home_path、data_dir等目录下创建必要的子目录结构。初始化OceanBase的元数据。如果看到[INFO] Deploy cluster ob-single successfully的输出说明部署阶段成功。# 3. 启动集群 obd cluster start ob-singlestart命令会启动配置文件里定义的所有服务进程。对于我们的单机配置就是启动一个OBServer进程。这个步骤需要一些时间1-3分钟因为进程要进行内存初始化、日志回放等自检操作。5.2 如何验证启动成功启动命令完成后不要急着认为万事大吉。需要通过多种方式交叉验证。方法一使用OBD检查状态obd cluster list这个命令会列出由OBD管理的所有集群及其状态。你应该能看到ob-single集群的状态是running。方法二查看进程ps -ef | grep observer应该能看到一个以admin用户运行的observer进程并且命令行参数中包含你的数据目录、端口等信息。方法三连接系统租户验证最可靠OceanBase启动后会默认创建一个名为sys的系统租户它类似于MySQL的root用户拥有最高权限。我们可以用OceanBase的客户端obclient或者MySQL客户端因为兼容MySQL协议去连接。首先安装MySQL客户端如果系统没有的话sudo yum install -y mysql然后连接# -h 后面是服务器IP -P 是配置文件里的mysql_port默认2881 -u 用户是root -p 密码默认为空 mysql -h127.0.0.1 -P2881 -uroot -p -c -A # 提示输入密码时直接回车默认空密码连接成功后会出现mysql提示符。执行几个简单命令-- 查看OceanBase版本 SELECT version; -- 查看集群状态 SHOW DATABASES; -- 查看当前租户应该是sys SHOW TENANT;如果能正常返回结果特别是能查到版本号那么恭喜你一个单机版的OceanBase数据库已经成功运行起来了6. 基础运维与租户管理入门数据库启动后我们不可能一直用sys租户相当于超级管理员来操作这既不安全也不符合规范。我们需要创建一个普通的业务租户和用户。6.1 创建资源单元Resource Unit在OceanBase里租户的资源CPU、内存是通过“资源单元”来定义的。我们先创建一个。 在sys租户下执行-- 创建一个资源单元命名为 unit_simple分配1个CPU核心和2G内存。 CREATE RESOURCE UNIT unit_simple MAX_CPU 1, MIN_CPU 1, MEMORY_SIZE 2G, LOG_DISK_SIZE 6G, MAX_IOPS 10000, MIN_IOPS 1000;这里MIN_CPU和MAX_CPU设为一样表示固定分配。LOG_DISK_SIZE是从全局log_disk_size中划分出来的。6.2 创建资源池Resource Pool资源池是资源单元的集合可以被租户使用。-- 创建一个资源池 pool_simple使用上面定义的 unit_simple 规格并且只分配1个单元因为我们单机只有一个节点。 CREATE RESOURCE POOL pool_simple UNIT unit_simple, UNIT_NUM 1, ZONE_LIST (zone1);ZONE_LIST指定这个资源池分布在哪些Zone我们只有zone1。6.3 创建业务租户Tenant现在我们可以创建真正的业务租户了。OceanBase的租户概念非常强大每个租户逻辑上像一个独立的数据库实例拥有自己的系统表、用户体系并且资源隔离。-- 创建一个名为 test_tenant 的租户使用MySQL模式兼容MySQL5.7/8.0的语法和协议 -- 使用我们刚创建的 pool_simple 资源池并设置一个密码。 CREATE TENANT IF NOT EXISTS test_tenant CHARSETutf8mb4, ZONE_LIST(zone1), PRIMARY_ZONEzone1, RESOURCE_POOL_LIST(pool_simple) SET OB_COMPATIBILITY_MODEmysql, PASSWORDYourStrongPassword123!;PRIMARY_ZONE指定主副本所在的Zone单机环境就是zone1。OB_COMPATIBILITY_MODE可以是mysql或oracle这决定了该租户的SQL语法、系统视图等兼容哪种数据库。这里我们选mysql。创建完成后需要稍等片刻约10-30秒租户才会完全初始化好。6.4 连接业务租户并创建用户现在我们可以退出sys租户的连接用新的业务租户管理员账号登录。注意连接方式的变化# 连接字符串格式-u 用户名租户名#集群名 mysql -h127.0.0.1 -P2881 -uroottest_tenant#ob-single -p # 输入创建租户时设置的密码登录后你就进入了test_tenant租户的环境。你可以像使用一个独立的MySQL数据库一样操作它-- 查看当前租户下的数据库初始是空的 SHOW DATABASES; -- 创建一个测试数据库 CREATE DATABASE test_db; USE test_db; -- 创建一张表 CREATE TABLE test_table (id INT PRIMARY KEY, name VARCHAR(50)); -- 插入数据 INSERT INTO test_table VALUES (1, OceanBase); -- 查询数据 SELECT * FROM test_table;至此你已经完成了一个从零到可用的OceanBase单机环境搭建并创建了独立的业务租户进行基本操作。7. 常见问题排查与性能调优要点在实际操作中你几乎一定会遇到一些问题。下面是我在多次部署中总结的“排坑指南”。7.1 启动失败问题速查表问题现象可能原因排查步骤与解决方案obd cluster start长时间卡住或报超时1. 内存不足OBServer进程初始化慢或失败。2. 目录权限不对。3. 端口被占用。1.查看详细日志obd cluster display ob-single查看状态然后tail -f /home/admin/oceanbase/log/observer.log看具体错误。2.检查内存确保memory_limit设置合理并开启了dev_mode。3.检查权限ls -la /home/admin/oceanbase/确保所有目录属主是admin。4.检查端口netstat -tlnp日志中出现memory limit is too small或system memory is not enoughmemory_limit或system_memory设置过小不满足OceanBase内部组件的最低要求。1. 调大memory_limit确保机器有足够物理内存。2. 按比例调整system_memory通常不低于2G。3.最有效在配置文件中加入dev_mode: true。连接数据库时报错ERROR 2013 (HY000): Lost connection to MySQL serverOBServer进程异常退出或尚未完全启动成功。1.obd cluster status ob-single确认进程状态。2. 查看observer日志尾部是否有崩溃信息。3. 可能是内存溢出被系统杀死检查系统日志/var/log/messages。创建租户时失败提示No resource pool available或Over tenant memory limit系统租户 (sys) 的剩余资源不足以创建新租户要求的资源单元。1. 在sys租户下执行SELECT * FROM oceanbase.GV$OB_UNITS;查看资源分配情况。2. 创建租户时指定的资源单元 (MEMORY_SIZE) 总和不能超过sys租户的可用内存。需要调小资源单元规格或减少UNIT_NUM。7.2 基础性能观察与调优建议即使单机学习了解如何观察数据库状态也是有益的。查看系统视图OceanBase提供了丰富的以GV$或V$开头的系统视图兼容Oracle风格和以oceanbase.开头的元数据表兼容MySQL风格。-- 在sys租户下查看所有OBServer节点状态 SELECT * FROM oceanbase.DBA_OB_SERVERS; -- 查看所有租户的资源使用情况 SELECT tenant_id, tenant_name, unit_count, max_cpu, max_memory/1024/1024/1024 as max_mem_gb FROM oceanbase.DBA_OB_TENANTS; -- 查看会话信息类似MySQL的SHOW PROCESSLIST SHOW PROCESSLIST;简单压测可以使用sysbench或简单的循环插入来感受一下性能。例如在业务租户下USE test_db; DELIMITER // CREATE PROCEDURE load_data() BEGIN DECLARE i INT DEFAULT 1; WHILE i 10000 DO INSERT INTO test_table VALUES (i, CONCAT(name-, i)); SET i i 1; END WHILE; END // DELIMITER ; CALL load_data();观察插入速度同时用top命令查看服务器的CPU和内存使用情况。配置优化方向日志级别如果日志太多影响IO可以在OBServer配置中调整syslog_level但生产环境不建议随意调整。内存分配如果主要做查询测试可以适当调大ob_sql_work_area_percentage参数在租户级设置增加SQL操作的内存工作区。最重要的调优对于学习环境确保dev_modetrue并且给了足够的内存就是最好的“性能调优”。整个流程走下来你会发现OceanBase的单机部署并没有想象中那么复杂OBD工具已经做了大量的自动化工作。核心难点在于理解其分布式架构下的资源模型资源单元、资源池、租户以及根据自己机器的实际情况调整好内存参数。这套单机环境已经足够你进行SQL语法学习、应用开发测试、甚至是一些简单的性能实验了。下次我们可以再聊聊如何在这个环境上体验OceanBase的Oracle兼容模式或者配置OBProxy实现更标准的连接管理。