跳至主要內容

Data Region

大约 2 分钟

Data Region

背景

Database 由用户显示指定,使用语句"CREATE DATABASE"来指定 database,每一个 database 有多个对应的 data region

为了确保最终一致性,每一个 data region 有一个数据插入锁(排它锁)来同步每一次插入操作。
所以服务端数据写入的并行度为 data region的数量。

问题

从背景中可知,IoTDB数据写入的并行度为 max(客户端数量,服务端数据写入的并行度),也就是max(客户端数量,data region 数量)

在生产实践中,存储组的概念往往与特定真实世界实体相关(例如工厂,地点,国家等)。
因此存储组的数量可能会比较小,这会导致IoTDB写入并行度不足。即使我们开再多的客户端写入线程,也无法走出这种困境。

解决方案

我们的方案是将一个存储组下的设备分为若干个设备组(称为 data region),将同步粒度从存储组级别改为 data region 粒度。

更具体的,我们使用哈希将设备分到不同的 data region 下,例如:
对于一个名为"root.sg.d"的设备(假设其存储组为"root.sgopen in new window"),它属于的 data region 为"root.sgopen in new window.[hash("root.sg.d") mod num_of_data_region]"

使用方法

通过改变如下配置来设置每一个 database 下 data region 的数量:

data_region_num

推荐值为[data region number] = [CPU core number] / [user-defined database number]

参考配置手册以获取更多信息。

Copyright © 2024 The Apache Software Foundation.
Apache and the Apache feather logo are trademarks of The Apache Software Foundation

Have a question? Connect with us on QQ, WeChat, or Slack. Join the community now.

We use Google Analytics to collect anonymous, aggregated usage information.