跳至主要內容

...大约 2 分钟

背景

Database 由用户显示指定,使用语句"CREATE DATABASE"来指定 database,每一个 database 有多个对应的 data region

为了确保最终一致性,每一个 data region 有一个数据插入锁(排它锁)来同步每一次插入操作。
所以服务端数据写入的并行度为 data region的数量。

问题

从背景中可知,IoTDB数据写入的并行度为 max(客户端数量,服务端数据写入的并行度),也就是max(客户端数量,data region 数量)

在生产实践中,存储组的概念往往与特定真实世界实体相关(例如工厂,地点,国家等)。
因此存储组的数量可能会比较小,这会导致IoTDB写入并行度不足。即使我们开再多的客户端写入线程,也无法走出这种困境。

解决方案

我们的方案是将一个存储组下的设备分为若干个设备组(称为 data region),将同步粒度从存储组级别改为 data region 粒度。

更具体的,我们使用哈希将设备分到不同的 data region 下,例如:
对于一个名为"root.sg.d"的设备(假设其存储组为"root.sgopen in new window"),它属于的 data region 为"root.sgopen in new window.[hash("root.sg.d") mod num_of_data_region]"

使用方法

通过改变如下配置来设置每一个 database 下 data region 的数量:

data_region_num

推荐值为[data region number] = [CPU core number] / [user-defined database number]

参考配置手册以获取更多信息。

Copyright © 2024 The Apache Software Foundation.
Apache IoTDB, IoTDB, Apache, the Apache feather logo, and the Apache IoTDB project logo are either registered trademarks or trademarks of The Apache Software Foundation in all countries

Have a question? Connect with us on QQ, WeChat, or Slack. Join the community now.