Kettle性能调优的一些笔记

kettle本身的性能绝对是能够应对大型应用的,一般的基于平均行长150的一条记录,假设源数据库,目标数据库以及kettle都分别在几台机器上(最常见的桌面工作模式,双核,1G内存),速度大概都可以到5000 行每秒左右,如果把硬件提高一些,性能还可以提升 , 但是ETL 过程中难免遇到性能问题,下面一些通用的步骤也许能给你一些帮助.

1.修改spoon脚本的jvm参数
#情景:运行过程中,报OOM错误或者是运行很慢的情况下,需要修改jvm内存
#例如:我的kettle是安装在/usr/local/kettle下
sudo vim /usr/local/kettle/spoon.sh
修改:PENTAHO_DI_JAVA_OPTIONS=”-Xms1024m -Xmx2048m -XX

剩余80%内容付费后可查看

本文作者: GavinDong

版权属于: GavinDong博客

文章链接: https://www.gavindong.com/2623.html

版权所有,转载时必须以链接形式注明作者和原始出处及本声明。

发表评论

登录后才能评论

评论列表(4条)

  • ag
    ag 2018.07.17 13:01

    配置kettle的jvm为4GB,实测10万条数据4秒钟迁移完毕。

  • ag
    ag 2018.07.16 15:40

    lib目录:存放jar包,包括jdbc驱动包。
    pwd目录:Kettle集群配置文件。
    samples:自带的示例。
    simple-jndi:JNDI连接的配置。
    Carte.bat / Carte.sh 启动集群命令。
    Encr.bat / Encr.sh Kettle提供的加密算法。
    Kitchen.bat / Kitchen.sh 运行Job的命令。
    Pan.bat / Pan.sh 运行转换的命令。
    set-pentaho-env.bat / set-pentaho-env.sh 设置环境变量脚本。
    Spoon.bat / Spoon.sh 启动KettleUI界面。
    SpoonDebug.bat / SpoonDebug.sh 以debug方式启动Kettle。
    安装JDK,设置JAVA_HOME变量并加入环境变量。
    Windows 下双击Spoon.bat启动Kettle(Linux下执行sh spoon.sh)

  • ag
    ag 2018.07.16 15:39

    在软件开发中,经常会遇到这样的场景: 新开发的系统即将替换老系统,而老系统庞大的数据需迁移到新系统中,但数据结构与新系统不完全兼容,这种情况就可以用Kettle处理这些老数据,完成数据迁移任务的。

  • ag
    ag 2018.07.16 15:28

    最近发现就算不用Kettle来做ETL,用他来做数据迁移也挺好的用的、比起很多付费工具还nice,尤其是源数据库和目标数据库不是同类型的时候。

email