KunlunBase 快速入门2.0（对等部署佳实践）

2022-04-07 00:00:00 节点 服务器 部署 副本 对等

一、了解对等部署


KunlunBase是计算&存储分离的分布式数据库，支持海量数据处理，可以解决传统数据库分库&分表带来的复杂性问题。

KunlunBase的核心组件如下图所示，由计算引擎和存储引擎组成。


计算引擎主要负责数据处理计算，是CPU资源密集型服务器，而存储引擎是IO资源密集型服务器，在实际生产环境部署过程中，可以将计算引擎和存储引擎部署在同一台服务器上，以获得资源的有效利用，同时通过不同节点间的组件冗余来实现高可靠性。
 
典型的对等部署结构下图所示：
 

KunlunBase集群服务数量没有限制，对等部署架构的特点是计算节点与存储节点并存于同一台物理服务器内，每台服务器既运行计算节点，同时也运行存储节点。

对于多副本Shard,主从副本不能位于同一台服务器内，而应该对等的分布在其他的服务器里。

1.1 KunlunServer(计算节点）
 
计算节点运行无状态计算&查询引擎，与存储进行交互执行SQL 任务，采用异步通信模式，计算节点不但可以本机上的存储节点交互，也可以通过网络与对接节点上其他的存储节点交互进行数据处理。

客户应用程序可以连接到任意一台计算节点执行 KunlunBase  集群的数据处理任务。

1.2 KunlunStorage(存储节点）

存储节点由多个存储分片（Shard）组成，Shard的主从副本对等分布在可用的服务器中，每台服务器的存储节点是由某个Shard的主副本及其他Shard的从副本组成。
 
对等部署的好处：

  • 有效利用服务器硬件资源

  • 组件在服务器之间相互冗余提高系统可靠性

  • 方便扩容，灵活扩展



二、对等部署指南


2.1 资源准备：在对等部署方案中，各台服务的硬件配置应该一致， 操作系统及版本一致，服务器之间的网络带宽建议是千兆或以上。
 
2.2 每台服务器的运行一个计算节点。
 
2.3 集群的Shard个数不应该超过服务器的数量，每台服务器只能运行集群的一个Shard的主节点。每个Shard的主从副本的参数配置应用一致。不同Shard的参数配置可以根据业务需求做个性配置。
 
2.4 每个Shard的副本数量可以根据业务需求定义， KunlunBase  集群对副本数量没有限制，但从可靠性考虑，建议每个shard少3个副本，副本数量不超过可用的机器数量。
 
2.5 在配置，建议主从副本不要运行在同一台服务器内。

2.6 管理组件及其他组件：
 

  • 元数据集群：建议部署为一主两从的高可用模式，暂用资源较少，可根据现网情况选择相应服务器部署。


  • 集群管理器：建议部署为一主两从的高可用模式，暂用资源较少，可根据现网情况选择相应服务器部署。


  • 节点管理器：每台服务器部署一个。



三、安装部署过程


对等部署的安装详细过程可以参考文档:  KunlunBase  快速入门安装指南,  KunlunBase   1.0将支持基于WEB UI界面的对等模式安装，提高安装的易用性。
 
对等部署的服务器资源规划参照下面表格（以三节点为例） 
服务器
Shard
端口
Server1
（SD1 主节点）
（SD2 从节点）
（SD3 从节点）
6004
6005
6006
Server2
（SD2 主节点）
（SD1 从节点）
（SD3 从节点）
6007
6008
6009
Server3
（SD3 主节点）
（SD1 从节点）
（SD2 从节点）
6010
6011
6012


四、对等部署服务器配置要求


做为分布式数据库， KunlunBase  集群对服务器的配置要求相对较低，入门级的 KunlunBase  集群的服务器配置参考如下：
 
KunlunBase入门级机器配置：

  • 服务器3台：亚马逊m5.4xlarge机型（CPU 8cores 16Threads , 内存64G，存储gp3, 通用型SSD卷3000IOPS ，125MB/s吞吐量，节点间网络带宽10G）。


  • 数据库软件： KunlunBase   0.9.1。


  • 部署架构：对等部署，3Shard , 每个Shard有3个副本。

点击阅读原文

推荐阅读

KunlunBase架构介绍
KunlunBase技术优势介绍
KunlunBase技术特点介绍
PostgreSQL vs MySQL TPC-H 测试
Kunlun-Storage vs PostgreSQL OLTP 测试

-END

相关文章