| |||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| (点击题目可以在互联网中搜索该题目的相关内容) 日期：2007-8-26 20:37:33 来源： 作者： 点击： | |||||||||||||||||||||||||
|
经常有客户问，使用你们的实时数据库，该如何计算存贮一年历史数据所需要的磁盘空间？
让我们以一个具体例子进行说明吧：一个项目中，总共有1万个模拟量测点，这些测点平均每秒变化一次，每次变化均要保存，存贮一年历史数据，需要多少磁盘空间？
为了很好地说明这个问题，我们先来分析一下，如果采用关系数据库来保存这些历史数据，需要多少磁盘空间。假定关系数据库采用一个表来保存历史数据，表的格式定义如下：
关系数据库中，计算历史数据应考虑如下几个方面的因素：
l 管理文件
l 表格式描述头
l 数据
l 索引
其中，管理文件及表格式描述头可以忽略不计，只需要考虑数据和索引即可。另外，在此也不考虑日志文件的大小。
假定关系数据库中不对数据进行任何压缩，采用定时保存，则数据容量的计算公式如下所示：
数据容量=单条历史数据的尺寸*秒数*分钟数*小时数*天数*测点数
所以，数据容量=(4+4+2+1+8)*60*60*24*365*10000=5580G
假定对该表中的TagID、Second和MillSecond建立唯一索引，同时假定关系数据库的索引结构为B+树索引，一般的B+树的利用效率在40%左右，因此，索引大小的计算公式如下所示：
索引容量=单条索引的尺寸*秒数*分钟数*小时数*天数*测点数/0.4
所以，索引容量=(4+4+2)*60*60*24*365*10000/0.4=7342G
因此，用关系数据库保存10000个每秒钟变化一次的双精度数，同时建立一个索引，需要磁盘空间为：12922G。
下面，我们再来计算一下实时数据库的历史数据容量的计算方法。
首先要说明，不同的实时数据库对历史数据采用了不同的存贮方法，因此，计算方法也各不相同，在此，仅以我们自己的实时数据库为例，进行计算。
首先需要介绍一下我们的实时数据库的特点：
l 历史数据按时间段分为多个文件保存，每个文件保存一段时间内的历史数据，保存一年的历史数据大概需要60个文件；
l 每段时间内的数据和索引保存在同一个文件内；
l 测点的ID与其它数据在文件内分开保存。
针对我们的实时数据库，计算历史数据应考虑如下几个方面的因素：
l 管理文件
l 文件头
l 数据
l 索引
其中，管理文件的大小大概为100K左右，可以忽略。
文件头大小=单个文件头大小*所有历史数据文件头大小=512K*60=0.03G，也可以忽略
在完全不压缩的情况下，数据容量的计算公式为：
不压缩数据容量=单条历史数据的尺寸*秒数*分钟数*小时数*天数*测点数
其中，单条历史数据的尺寸已经过紧密化处理，只占14字节，所以，数据容量=14*60*60*24*365*10000=4111G
我们的实时数据库采用了特殊的索引机制，不需要对每条数据进行索引，平均200条数据才需要记录一次索引，在完全不压缩的情况下，索引容量的计算方法为：
不压缩索引容量=单条索引的尺寸*秒数*分钟数*小时数*天数*测点数/200
所以，索引容量=10*60*60*24*365*10000/200=15G
最后，再考虑压缩率。采用不同的压缩算法会有不同的压缩比，另外，还与压缩率有关，这个没有统一的计算公式。但是，在工程现场，一般而言，采用哈佛曼算法的压缩比为15:1左右，采用变化压缩算法的压缩比为20:1左右，采用旋转门算法的压缩比为30:1左右。如果再加上一些特殊的技术（如二次压缩技术，质量戳与数据值分开保存等），压缩比可以达到40:1左右。我们就按40:1进行计算
本新闻共2页,当前在第1页1 2
|
|||||||||||||||||||||||||
| 上一篇: 使用C/C++语言编写基于DSP程序的注意事项 下一篇: 用VB Winsock控件创建TCP/IP客户机/服务器程序 |