实现实时的增量更新数据源为数据库的三种方法

1.通过触发器
在要抽取的表上建立需要的触发器,一般要建立插入、修改、删除三个触发器,每当源表中的数据发生变化,就被相应的触发器将变化的数据写入一个临时表,抽取线程从临时表中抽取数据,临时表中抽取过的数据被标记或删除。
触发器方式的优点是数据抽取的性能较高、可以做到近乎实时;
缺点是要求业务表建立触发器,对业务系统有一定的影响,需要有业务系统数据库权限比较高的账号、用户也不一定会同意。
此外,当需要实时抓取的表列非常多的情况下,生成触发器的过程本身也非常漫长。

2.通过时间戳(特殊数据类型)
在数据库打个标记,下次抽取的时候接着抽取新增的。
它是一种基于快照比较的变化数据捕获方式,在源表上增加一个时间戳字段,系统中更新、修改表数据的时候,同时修改时间戳字段的值。
当进行数据抽取时,通过比较系统时间与时间戳字段的值来决定抽取哪些数据。有的数据库的时间戳支持自动更新,即表的其它字段的数据发生改变时,自动更新时间戳字段的值。有的数据库不支持时间戳的自动更新,这就要求业务系统在更新业务数据时,手工更新时间戳字段。同触发器方式一样,时间戳方式的性能也比较好,数据抽取相对清楚简单,但对业务系统也有很大的倾入性(加入额外的时间戳字段),特别是对不支持时间戳的自动更新的数据库,还要求业务系统进行额外的更新时间 戳操作。另外,无法捕获对时间戳以前数据的delete和update操作,在数据准确性上受到了一定的限制。

3.读取数据库日志的方式
通过一定的开发,实时监听业务系统数据库日志文件,解析出有变化的部分,抓取到数据仓库。