图数据库设计实践思路解读

以下举例说明
3
BALANCE DATA
的使用方式。本例
将从 3 个实例（进
程）扩展到 8 个实
例（进程）：
集群数据迁移
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
BALANCE DATA $id 返回结果说明：
3
• 第一列 balanceId，spaceId:partId，src->dst 表示一个具体的
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
5
Partition distribution 相近，partition 总数 300 不变且 partition 已均 衡的分布至各个实例。如果有运行失败的 task，可再次运行 BALANCE DATA 命令进行修复。如果多次运行仍无法修复，请与社区联系 GitHub。
本文主要描述对于存储层（storage）的数据和服务的 balance。这些 都是通过 Balance 命令来实现的：Balance 命令有两种，一种需要迁移 数据，命令为 BALANCE DATA；另一种不需要迁移数据，只改变 partition 的 raft-leader 分布（负载均衡），命令为 BALANCE LEADER。
balance task。以 1570761786, 1:88, 192.168.8.210:34700-
>192.168.8.210:35940 为例：
• 1570761786 为 balanceId
• 1:88，1 表示当前的 spaceId（也就是 space test 的 ID），88 表示迁
批量缩容
批量缩容
Nebula Graph 支持指定需要下线的机器进行批量缩容。语法为 BALANCE DATA REMOVE $host_list，例如：BALANCE DATA REMOVE 192.168.0.1:50000,192.168.0.2:50000，将指定移除 192.168.0.1:50000， 192.168.0.2:50000 两台机器。 如果移除指定机器后，不满足副本数要求（例如剩余机器数小于副本数）， Nebula Graph 将拒绝本次 balance 请求，并返回相关错误码。
192.168.8.210:34700，192.168.8.210:34500)
• Status 表示当前实例的状态，目前有 online/offline 两种。当机器
下线以后（metad 在一段间隔内收不到其心跳），将把其更改为
offline。这个时间间隔可以在启动 metad 的时候通过设置
expired_threshold_sec 来修改，当前默认值是 10 分钟。
集群数据迁移
１ Step 1.2：创建图空间
创建一个名为 test 的图空间，包含 100 个 partition，每个 partition 有 3 个副本。
片刻后，使用 SHOW HOSTS 命令显示集群的分布。
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
4 Step 4 假如要中途停止 balance data
BALANCE DATA STOP 命令用于停止已经开始执行的 balance data 计划。 如果没有正在运行的 balance 计划，则会返回错误提示。如果有正在运行 的 balance 计划，则会返回计划对应的 ID。 由于每个 balance 计划对应若干个 balance task，BALANCE DATA STOP 不会停止已经开始执行的 balance task，只会取消后续的 task，已 经开始的 task 将继续执行直至完成。 用户可以在 BALANCE DATA STOP 之后输入 BALANCE DATA $id 来查 看已经停止的 balance 计划状态。 所有已经开始执行的 task 完成后，可以再次执行 BALANCE DATA，重 新开始 balance。如果之前停止的计划中有失败的 task，则会继续执行之 前的计划，如果之前停止的计划中所有 task 都成功了，则会新建一个 balance 计划并开始执行。
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
2 Step 2 加入新实例
启动 5 个新 storaged 实例进行扩容。启动完毕后，使用 SHOW HOSTS 命 令查看新的状态：
以下举例说明
2
BALANCE DATA
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
１
• SHOW HOSTS 返回结果解释：
• IP，Port 表示当前的 storage 实例。这个集群启动了 3 个 storaged
服务，并且还没有任何数据。(192.168.8.210:34600，
集群数据迁移
１
如上，创建包含 100 个 partition 和 3 个 replica 图空间之后，3 个实例的 Leader distribution 和 Partition distribution 有了对应的数值，对应的 Partition distribution 都为 100。当然，这样的 learder 分布还不均匀。
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
5 Step 5 查看数据迁移结果
大多数情况下，搬迁数据是个比较漫长的过程。但是搬迁过程不会影响已 有服务。现在可以通过 SHOW HOSTS 查看运行后的 partition 分布。
示例数据迁移
批量缩容 上面讲了如何从 3 个实例变成 8个实例的集群，如果你对上文有疑问，记得在 本文的评论区留言哈。我们现在看看上面迁移的过程，192.168.8.210:34600 这个实例的状态变化。
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
１
可以看到 Leader distribution 和 Partition distribution 暂时都没有数据。
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
• Succeeded：运行成功
• Failed：运行失败
• In progress：运行中
• Invalid：无效的 task
• 最后对所有 task 运行状态的统计，部分 partition 尚未完成迁移。
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
6
如上， BALANCE LEADER 成功执行后，新增的实例和原来的实例（对应 上图 icon 蓝色和黑色图示）的 Leader distribution 相近，所有实例已均 衡，此外，也可以看到 Balance 命令只涉及 leader 和 partition 在物理 机器上的转移，并没有增加或者减少 leader 和 partition。
片刻后，使用 SHOW HOSTS 命令查看，此时 Raft leader 已均匀分布至 所有的实例。
以下举例说明
6
BALANCE DATA
的使用方式。本例
将从 3 个实例（进
程）扩展到 8 个实
例（进程）：
集群数据迁移
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
运行 BALANCE DATA 命令
如果当前集群有新机器加入，则会生成一个新的计划 ID。对于已经平衡 的集群，重复运行 BALANCE DATA 不会有任何新操作。如果当前有正在 执行的计划，那会显示当前计划的 ID。也可通过 BALANCE DATA $id 查 看这个 balance 的具体执行进度。
的使用方式。本例
将从 3 个实例（进
程）扩展到 8 个实
例（进程）：
集群数据迁移
以下举例说明 BALANCE DATA 的使用方式。本例 将从 3 个实例（进 程）扩展到 8 个实 例（进程）：
集群数据迁移
上新实例之后，集群由原来 3 个实例变成了 8 个实例。上图数据库 icon
2
为蓝色的图示为新增的 5 个实例，此时由于仅仅加入了集群，新实例的状
Balance 机制浅析
Balance 机制浅析
在图数据库中， Balance 主要用来 balance leader 和 partition，只涉及 leader 和 partition 在机器之间转移，不会增加或者减少 leader 和 partition 的数量。 上线新机器并启动相应的 Nebula 服务后，storage 会自动向 meta 注册。 Meta 会计算出一个新的 partition 分布，然后通过 remove partition 和 add partition 逐步将数据从老机器搬迁到新的机器上。这个过程所对应的命 令是 BALANCE DATA，通常数据搬迁是个比较漫长的过程。但 BALANCE DATA 仅改变了数据和副本在机器之间的均衡分布，leader（和对应的负载） 是不会改变的，因此还需要通过命令 BALANCE LEADER 来实现负载的均衡。 这个过程也是通过 meta 实现的。
态为 Online，但此时 Leader distribution 和 Partition distribution 并