Kettle性能调优的一些笔记

kettle本身的性能绝对是能够应对大型应用的,一般的基于平均行长150的一条记录,假设源数据库,目标数据库以及kettle都分别在几台机器上(最常见的桌面工作模式,双核,1G内存),速度大概都可以到5000 行每秒左右,如果把硬件提高一些,性能还可以提升 , 但是ETL 过程中难免遇到性能问题,下面一些通用的步骤也许能给你一些帮助.

1.修改spoon脚本的jvm参数
#情景:运行过程中,报OOM错误或者是运行很慢的情况下,需要修改jvm内存
#例如:我的kettle是安装在/usr/local/kettle下
sudo vim /usr/local/kettle/spoon.sh
修改:PENTAHO_DI_JAVA_OPTIONS=”-Xms1024m -Xmx2048m -XX

剩余80%内容付费后可查看

如若转载,请注明出处:https://www.gavindong.com/2623.html

微信沟通