数据仓库
-
数仓选型及Apache Ignite内存数据库
对于结构化数据处理,MB级用excel,pandas,sqlite,access,GB级用mysql,oracle,sql server,postgresql,TB级用mongod…
-
数据仓库分层的原因
1通过数据预处理提高效率,因为预处理,所以会存在冗余数据2如果不分层而业务系统的业务规则发生变化,就会影响整个数据清洗过程,工作量巨大3通过分层管理来实现分步完成工作,这样每一层的…
-
实现实时的增量更新数据源为数据库的三种方法
1.通过触发器在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据…