Apache Ignite

  • A+
所属分类:数据分析

对于结构化数据处理,MB级用excel,pandas,sqlite,access,GB级用mysql,oracle,sql server,postgresql,TB级用mongodb,greenplum,PB级用hadoop,spark,EB级自己想办法。

ignite主要内存功能强大,更方便适用,用内存来聚合数据源,处理数据。随着时间的推移,移动互联网物联网的使用,数据会成指数增长,不上大内存根本跑不快,服务器内存价格只会越来越便宜,内存计算只会越来越流行。

ignite功能齐全,支持OLTP 和OLAP 并且提供了自己的分布式文件管理系统(IGFS) 。
除了支持Key/Value,还支持SQL,支持ACID。

Apache Ignite内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台,用于大规模的数据集处理,比传统的基于磁盘或闪存的技术具有更高的性能,同时他还为应用和不同的数据源之间提供高性能、分布式内存中数据组织管理的功能。

官网:https://ignite.apache.org/

特性:https://www.zybuluo.com/liyuj/note/293596

安装:

#centos7 + Apache Ignite Binary Releases(不建议源代码安装)

#安装centos7 minimal版本

 

#设置hostname

#安装jdk

到oracle网站下载jdk的rpm包,然后rpm -ivh安装就好,暂不建议openjdk。

#设置环境变量,vi /etc/profile,添加下面两行到文件末尾

#使path配置生效

source /etc/profile

#创建ignite目录,mkdir -p /data/ignite

#下载ignite的binary包

#启动ignite(建议按照后面的操作来做)

#其他操作:

#需要注意的是,ignite默认的设置是没有开启数据持久化的(数据都在内存里,关机进程后数据就丢失了),需要修改/data/ignite/config/default-config.xml文件开启数据持久化。

参考附件:default-config

在ignite中创建表,必须指定 PRIMARY KEY:

 

使用dbeaver操作ignite比较方便,自带jdbc驱动了、自动提示也很好:

Apache Ignite

 

Apache Ignite

测试了下,随机insert 10万条数据,用了两秒钟(ignite是安装在自己电脑上的centos虚拟机中),insert 100万条数据用了不到10秒钟。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:11   其中:访客  11   博主  0

    • ag

      Ignite is organized in a modular fashion and provides a single jar (library) for each functionality.
      You only have to apply the desired library into your project to use Ignite

      • ag

        In contrast to the monolithic and master-slave architectures, there are no special nodes in Ignite.
        All nodes are identical in the Ignite cluster.

        • ag

          Run multiple instances of Apache Ignite in a single host:
          ignite.sh $IGNITE_HOME/examples/config/example-cache.xml
          Note:
          Before running the above command, please make sure that you have sufficient memory on your
          host machine. By default, Ignite consumes 1 GB memory per Ignite instance

            • ag

              @ag You can change the default configuration in ignite.sh
              Replace the -Xms1g -Xmx1g parameters with -Xms512m -Xmx512m for example. Next time when
              you restart the Ignite instance, your JVM will be started with Xms amount of memory and will be
              able to use a maximum of Xmx amount of memory. For example, starting a JVM with -Xms512m
              -Xmx512m parameter will start the JVM with 512MB of memory, and will allow the process to use
              up to 512MB of memory

            • ag

              enable rest:
              Copy the folder $IGNITE_HOME/libs/optional/ignite-rest-http to IGNITE_HOME/libs, this will enable the Ignite rest interface.

                • ag

                  @ag http://IP_ADDRESS:8080/ignite?cmd=version

                • ag

                  鼠标选中sql语句后按CTRL + Enter就执行SQL语句,挺方便的。

                  • ag

                    注意需要先配置系统变量IGNITE_HOME指向ignite文件夹

                    • ag

                      Apache Ignite(V2.3.0)中文开发手册

                      https://www.zybuluo.com/liyuj/note/230739

                      • ag

                        golang连接ignite的包:
                        https://github.com/amsokol/ignite-go-client

                        • ag

                          客户端工具:dbeaver