c-tree数据库的大数据文件处理方式

最新推荐文章于 2024-07-02 09:53:31 发布

原创最新推荐文章于 2024-07-02 09:53:31 发布 · 1.2k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#数据库 #api #文档 #存储 #c

c-tree 专栏收录该内容

10 篇文章

订阅专栏

本文讨论了c-tree数据库在32位系统下文件最大限制为4GB时，如何通过修改配置文件和建表API参数来解决单个表数据过大导致的39号错误。包括设置单个文件大小为2GB，最多可达20个文件，并在建表时使用CTCREATE_HUGEFILE选项。

在32位系统下，文件最大为4G，而c-tree数据库的每个表都是以单独的文件来存储的，当文件达到4G时如果再往该表插入数据，c-tree会抛出39号错误（The 4-byte data record position (or node position) address space has been exhausted）。那么面对这个问题时该怎么办？

c-tree提供了一种将文件分割成多个文件的方式来解决这个问题。

首先，需要修改服务的配置文件ctsrvr.cfg，在其中增加一个配置项：

HUGE_TO_SEG_MB 2048#20

其中2048的单位为MB，表示单个文件最大为2G；20表示最多20个文件。此处需要注意的是，一个普通的表有一个数据文件，一个索引文件。这个配置同时适用于数据文件和索引文件，也就是数据文件可以有20个2G的文件，索引文件也可以有20个2G的文件。

其次，需要在建表的时候，指定特定的选项，如c-treeDB C API函数ctdbCreateTable 或C++ API函数CTTable::Create中，指定的CTCREATE_MODE必须包含CTCREATE_HUGEFILE。

之后该表的数据文件会以.dat, .dat.001, .dat.002, ...方式增长，索引文件会以.idx, .idx.001, .idx.002, ...的方式增长。

c-tree的文档中对上面两点要求的描述是孤立的，实际上需要同时满足这两点才能解决大数据表的问题。我一开始就只修改了配置文件，但怎么试就是不起作用。后来才发现建表的api里面还有一个特定的参数选项用于此目的。