数仓选型及Apache Ignite内存数据库

对于结构化数据处理,MB级用excel,pandas,sqlite,access,GB级用mysql,oracle,sql server,postgresql,TB级用mongodb,greenplum,PB级用hadoop,spark,EB级自己想办法。

ignite主要内存功能强大,更方便适用,用内存来聚合数据源,处理数据。随着时间的推移,移动互联网物联网的使用,数据会成指数增长,不上大内存根本跑不快,服务器内存价格只会越来越便宜,内存计算只会越来越流行。

ignite功能齐全,支持OLTP 和OLAP 并且提供了自己的分布式文件管理系统(IGFS) 。
除了支持Key/Value,还支持SQL,支持ACID。

Apache Ignite内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台,用于大规模的数据集处理,比传统的基于磁盘或闪存的技术具有更高的性能,同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。

实现实时的增量更新数据源为数据库的三种方法

1.通过触发器
在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。
触发器方式的优点是数据抽取的性能较高、可以做到近乎实时;
缺点是要求业务表建立触发器,对业务系统有一定的影响,需要有业务系统数据库权限比较高的账号、用户也不一定会同意。
此外,当需要实时抓取的表列非常多的情况下,生成触发器的过程本身也非常漫长。

2.通过时间戳(特殊数据类型)
在数据库打个标记,下次抽取的时候接着抽取新增的。
它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新、修改表数据的时候,同时修改时间戳字段的值。
当进行数据抽取时,通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。同触发器方式一样,时间戳方式的性能也比较好,数据抽取相对清楚简单,但对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间 戳操作。另外,无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。

3.读取数据库日志的方式
通过一定的开发,实时监听业务系统数据库日志文件,解析出有变化的部分,抓取到数据仓库。