当前位置: 首页信息

Infobright

信息详情
Infobright

Infobright是开源的MySQL数据仓库解决方案,引入了列存储方案,高强度的数据压缩,优化的统计计算(类似sum/avg/group by之类),infobright是基于mysql的,但不装mysql亦可,因为它本身就自带了一个。mysql可以粗分为逻辑层和物理存储引擎,infobright主要实现的就是一个存储引擎,但因为它自身存储逻辑跟关系型数据库根本不同,所以,它不能像InnoDB那样直接作为插件挂接到mysql,它的逻辑层是mysql的逻辑 层加上它自身的优化器。

Infobright具有高压缩比率,平均压缩比可达10:1,甚至可以达到40:1,用infobright把3.1G的数据存成不足300M。Infobright采用列存储,即使数据量十分巨大,查询速度也很快。用于数据仓库,处理海量数据没一套可不行。Infobright不需要建索引,就避免了维护索引及索引随着数据膨胀的问题。把每列数据分块压缩存放,每块有知识网格节点记录块内的统计信息,代替索引,加速搜索。单一台服务器可以高效地读写30T数据。具有可扩展性,这里是指对于同样的查询,当数据量是10T时,它耗费的时间不应该比1T数据量时慢太 多,基本是一个数量级内。

Infobright具有两层结构,上面的逻辑层处理查询逻辑,下面的是存储引擎。逻辑层右端的加载器与卸载器是infobright的数据导入导出模块。由于infobright面向的是海量数据环境,所以这个数据导入导出模块是一个独立的服务,并非直接使用mysql的模块。逻辑层的infobright优化器包在mysql查询优化器的外面。因为它的存储层有一些特殊结构,所以查询优化方式也跟 mysql有很大差异。Infobright存储层最底层是一个数据块。每一个数据块都包含了一列的64K个元素,所有数据按照这样的形式打包存储,每一个数据块进行类型相关的压缩(即根据不同数据类型采 用不同的压缩算法),压缩比很高。它上层的压缩器与解压缩器就做了这个事情。

压缩层再向上就是infobright最重要的概念:知识网格,这也是infobright放弃索引却能应用于大量数据查询的基础。它包含两类结点:每个知识节点)对应于一个数据块,存储该数据块的一些统计信息,如min, max, avg, null的个数,甚至不同值的量等等;知识节点则存储了一些更高级的统计信息,以及与其它表的连接信息,这里面的信息有些是数据载入时已经算好的,有些是随着查询进行而计算的,所以说是具备一定的“智能”的。

友情提示
此页是<Infobright>的介绍页面,并非官方站点,我们收集于网络只为广大网民快速查询提供帮助。
如涉及内容、版权等问题,请在30日内联系,我们将在第一时间删除内容!点此纠错或删除此信息
信息资料
信息名称: Infobright
信息栏目: 信息简介 网站链接
网址链接: www.infobright.org
收录查询: [百度收录] [360收录] [搜狗收录] [必应收录]
网页版本: 手机版 电脑版
本页链接: http://wangshoxuax12.cndde.com/