Skip to content

Kettle中文网

  • 经验分享
  • 基础概念
  • kettle示例
  • kettle异常
  • 下载QQ群604126885
  • KettleOnline教程
Kettle中文网

免费下载KettleOnline任务调度系统

阿里云云服务器内部优惠

作者:admin

kettle的作业和参数组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

    1、大多数ETL项目都需要完成各种各样的维护工作。例如,如何传送文件;验证数据库表 […]

kettl的脚本组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

7、脚本是转换里面的第七个分类。脚本就是直接通过程序代码完成一些复杂的操作。 7.1、Javascript脚本 […]

kettle的映射组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

6、映射是转换里面的第十八个分类。映射是用来定义子转换,便于封装和重用。 6.1、映射(子转换),是用来配置子 […]

kettle的统计组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

5、统计是转换里面的第十三个分类。统计是提供数据的采样和统计功能。 5.1、分组是按照某一个或某几个进行分组, […]

kettle的连接组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

4、连接是转换里面的第八个分类。连接是结果集通过关键字进行连接。 4.1、合并记录是用于将两个不同来源的数据合 […]

kettle的查询组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

3、查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。 3.1、HTTP clien […]

kettle的流程组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

2、流程是转换里面的第六个分类。流程主要用来控制数据流程和数据流向。 2.1、Switch/case让数据流从 […]

kettle的应用组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

1、应用是转换里面的第五个分类。应用都是一些工具类。 1.1、替换NULL值就是把null转换为其它的值。NU […]

kettle的转换组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

  1、转换是转换里面的第四个分类。转换属于ETL的T,T就是Transform清洗、转换。ETL三 […]

kettle的输出组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

1、输出是转换里面的第二个分类。输出属于ETL的L,L就是Load加载。微软的Excel目前有两种后缀名的文件 […]

kettle的输入组件

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

1、kettle里面的输入,就是用来抽取数据或生成数据,是ETL操作的E。 2、CSV文件是一种带有固定格式的 […]

kettle的基础概念入门、下载、安装、部署

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle基础概念

1、什么是ETL? 答:ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过 […]

kettle的job定时任务的一个小问题

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle异常

思考,启动此job,做一个最简单,job实现表输入和表输出,但是实现表输入和表输出要花2个小时。那么这个job […]

数据库统计后,保存到数据库

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle示例

1、主要是解决,作为一个数据共享的数据库,存在的数据库统计,然后将计算的数据量输出到自己使用的数据库,进行主页 […]

使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。

Posted on 2020年12月19日2020年12月19日 adminPosted in kettle示例

转自:https://www.cnblogs.com/biehongli/p/9900068.html

kettle基础概念的学习

Posted on 2020年12月19日 adminPosted in kettle基础概念

转自:https://www.cnblogs.com/biehongli/p/10361342.html

9.1其他数据库等驱动的路径说明

Posted on 2020年12月14日2020年12月14日 adminPosted in KettleOnline使用说明

如果您使用其他的数据库,比如:db2、informix等,KettleOnline默认没有带这些驱动,请下载相 […]

9.KettleOnline支持Kettle版本的说明

Posted on 2020年12月14日2020年12月14日 adminPosted in KettleOnline使用说明

KettleOnline默认安装Kettle8.3版本的jar包,已经经过测试。如果您使用其他版本的Kettl […]

8.策略配置管理

Posted on 2020年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

策略配置列表 策略配置详情 策略表达式生成说明

7.用户管理

Posted on 2020年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

6.监控管理

Posted on 2020年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

监控管理-作业监控列表 监控管理-作业监控日志详情 监控管理-转换监控列表 监控管理-转换监控日志详情

5.任务管理-转换管理

Posted on 2020年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

任务管理-转换列表 任务管理-资源库转换新增 任务管理-文件转换新增

4.任务管理-作业管理

Posted on 2020年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

任务管理-作业列表 任务管理-资源库作业新增 任务管理-文件作业新增

3.资源库资源库

Posted on 2020年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

点击图片放大 点击【资源库管理】菜单,显示已经录入的资源库列表 点击【新增数据库资源库】或者编辑,进入资源库编 […]

2.登录后的首页

Posted on 2020年11月29日2020年12月12日 adminPosted in KettleOnline使用说明

点击图片放大

KettleOnline在线调度管理系统说明

Posted on 2020年11月29日2021年1月23日 adminPosted in KettleOnline使用说明

本系统基于jdk1.8+Tomcat8+mysql5.7部署,运行于kettle8.3环境(也可以支持kett […]

使用Kettle抽取数据时,SQL出现中文乱码问题解决方案

Posted on 2020年10月19日 adminPosted in kettle异常

使用Kettle在不同的数据库抽取数据时,有时会出现中文乱码问题:其解决方案如下: 1.查看数据库的字符集是否 […]

kettle组件找不到或者搜索不到

Posted on 2020年10月13日 adminPosted in kettle异常

在中文语言下,有时候某些组件无法找到,需要将语言改为英文English。

kettle连接数据库资源池时中文乱码

Posted on 2020年9月19日2020年9月19日 adminPosted in kettle异常

第一步,在数据库中将库、表、字段的编码设置为utf8   第二步,将spoon.bat中链接资源池的 […]

无法创建资源库–功能未打开

Posted on 2020年9月16日 adminPosted in kettle异常

在本地运行时会发现标题中提到的问题:工具-资源库里面的按钮都是灰色的,无法点击。   一个勾选项 & […]

无法创建资源库–常见三种原因

Posted on 2020年9月16日2020年9月16日 adminPosted in kettle异常

资源配置变为灰色的3种情况     1) JDK版本不对,JDK需求为1.8版本 […]

kettle各组件说明

Posted on 2020年9月16日 adminPosted in kettle基础概念

文本文件输入(text input):读取大量不同的文本文件。大多是通过工具生成的CSV文件。 表输入(tab […]

Kettle作业

Posted on 2020年9月14日2020年9月14日 adminPosted in kettle基础概念

作业包括一个或多个作业项,作业项以某种顺序来执行。 作业项:与转换中的步骤类似,作业项也以图标的方式图形化展示 […]

Kettle转换

Posted on 2020年9月14日2020年9月14日 adminPosted in kettle基础概念

转换包括一个或多个步骤,步骤之间通过跳(hop)来连接。跳定义了一个单向通道,允许数据从一个步骤流向另一个步骤 […]

如何创建资源库

Posted on 2020年9月14日2020年9月14日 adminPosted in kettle基础概念

1.资源库的介绍     kettle资源库是用来保存转换任务的,用户通过图形界 […]

kettle数据无法保存到数据库中

Posted on 2020年9月10日 adminPosted in kettle异常

批量提交的时候,如果已经有部分数据了,那么其他数据有可能也不提交或更新。把下面的“不执行任何更新”去掉即可。b […]

数据转换抽取mysql(主键重复)

Posted on 2020年9月10日2020年9月10日 adminPosted in kettle异常

首先按照前面讲的 如果主键重复会报下面错误 而且会停止抽取数据,碰到这种情况,我们需要使用另一个输出,插入或更 […]

共享数据库db链接、ftp链接等后无法保存

Posted on 2020年9月10日 adminPosted in kettle异常

异常提示如下: 共享数据库db链接、ftp链接等后无法保存 说明: 这个是kettle8.3的bug,需要删除 […]

kettle性能优化

Posted on 2020年9月7日 adminPosted in kettle经验分享

Kettle调优 1、  调整JVM大小进行性能优化,修改Kettle定时任务中的Kitc […]

kettle中通过 时间戳(timestamp)方式 来实现数据库的增量同步操作(一)

Posted on 2020年9月3日2020年9月3日 adminPosted in kettle示例

这个实验主要思想是在创建数据库表的时候, 通过增加一个额外的字段,也就是时间戳字段, 例如在同步表 tt1 和 […]

kettle实现简单的增量同步

Posted on 2020年9月3日2020年9月3日 adminPosted in kettle示例

job如下: 如下转换:获取区服列表,将id列表保存到结果(内存) job: 同构数据库单表抽取(每个输入执行 […]

kettle删除移动文件

Posted on 2020年9月3日 adminPosted in kettle示例

Kettle – 读取 CSV 文件

Posted on 2020年9月3日2020年9月3日 adminPosted in kettle经验分享

Kettle 是一款采用纯 Java 实现的开源 ETL工 具,属于开源商务智能软件 Pentaho 的一个重 […]

Kettle 导入文件夹下的多个文件

Posted on 2020年9月3日2020年9月3日 adminPosted in kettle示例

收到的需求是这样的:在一个文件夹下有几百个文本文件,每个文件内容的格式相同,都是有固定分隔符的两列,每个文件有 […]

kettle中作业和转换的关系

Posted on 2020年9月3日2020年11月29日 adminPosted in kettle基础概念

一、作业job是多个转换的任务的集合。通过kitchen.sh(厨房)来执行。  例如:./kich […]

java调用kettle_实现

Posted on 2020年9月3日2020年9月3日 adminPosted in kettle示例

最近要对一个系统的数据同步到另一个系统中,要求新系统的数据结果完成之后,实时同步到另一个系统数据表中。 Jav […]

kettle demo12 通过JAVA创建trans并保存到数据库资源库

Posted on 2020年8月31日 adminPosted in kettle示例

最近需要用到Java代码API来根据数据源规则,动态的创建trans,网上看了好多都是直接生成文件ktr的, […]

kettle demo11 利用java代码解压gz格式文件(转载)

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

kettle默认只能解压zip格式的文件,比如linux里的tar、gz等格式的文件需要用到java代码来解压 […]

kettle demo 10 在Java代碼中读取文件内容插入到数据库(转载)

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

kettle调用java代码一步步扩展,本次在Java代码里读取本地文件,然后把数据插入到数据库 本地文件内容 […]

kettle demo9 调用JAVA代码(转载)

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

kettle执行简单的java代码,基本流程配置如下 1、生成记录,设置一条记录 2、java代码,双击mai […]

kettle demo8 调用存储过程(转载)

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

调用存储过程也很简单,首先创建一个存储过程,传入一个boo表记录的id,然后设置status为1,然后返回当前 […]

kettle demo7 从FTP下载多文件类型,解压,插入到数据库(转载)

Posted on 2020年8月31日 adminPosted in kettle示例

从FTP下载多个文件,包括zip的,先看图,整个过程如下,中间的节点没有特别复杂的,再前面文章都有例子 &nb […]

kettle demo6 解压缩(转载)

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

本事例演示解压目录下多个zip,unzip控件在作业(job)里面 目录如图 1、新建作业,拖进来文件管理-解 […]

kettle demo5 遍历目录下多文件,根据文件类型走不同方式导入到数据库(转载)

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

有时候从FTP上下载下来的文件有多个,并且文件格式有可能不同,这时候就要用到条件判断了,比如txt文件通过文本 […]

kettle demo4 从FTP下载文本文件到本地,然后插入到数据库 (转载)

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

本事例演示从FTP下载文件,然后在插入到数据库,这次FTP配置信息就通过变量来配置了,全局变量一般配置在ket […]

kettle demo3 从FTP下载文本文件到本地(转载)

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

本配置为从远程FTP下载文件到本地,一般后期应用里应该是定时从别人ftp服务器批量下载文件,然后根据文件类型走 […]

kettle demo2 从Excel文件导入数据库

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

本次例子是从excel导入到数据库,表结构不变,还用上次的表 1、看下excel文件内容,基本没甚特殊的 2、 […]

kettle demo1 从文本文件导入数据库

Posted on 2020年8月31日2020年8月31日 adminPosted in kettle示例

kettle 从文本文件导入数据库 此文章主要为了对自己最近的摸索做个笔记,记录些坑,有些定义就不再叙述了,都 […]

为kettle单独设置jdk版本

Posted on 2020年1月2日2020年11月29日 adminPosted in kettle经验分享

本地环境是jdk1.7,运行Kettle 7.0 以上版本需要jdk1.8,这样很不方便,下面给Kettle […]

kettle中回车换行的替换、kettle换行符、kettle回车符

Posted on 2020年1月2日2020年11月29日 adminPosted in kettle经验分享

那么如果一些数据值不规则就会产生问题比如:某一个字段值存在换行呢,这样在生成文件的时候就会出现文件错乱,从当前 […]

Kettle — 安装和部署

Posted on 2020年1月2日2020年8月24日 adminPosted in kettle经验分享

Kettle — 安装和部署

Kettle — 安装和部署

Posted on 2020年1月2日2020年11月29日 adminPosted in kettle经验分享

欢迎关注天善智能微信公众号,我们是专注于商业智能BI,大数据,数据分析领域的垂直社区。 对商业智能BI、大数据 […]

KETTLE使用教程(二)

Posted on 2019年4月29日2020年11月29日 adminPosted in kettle经验分享

Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新:kettle会自动对比用户设置的对比 […]

KETTLE集群搭建

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

说明: 本文档基于kettle5.4   一、集群的原理与优缺点 1.1集群的原理 Kettle集群 […]

KETTLE常见问题(转)

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

KETTLE常见问题 摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在 […]

Pentaho Data Integration(PDI)简介

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

1. PDI结构简介 图 1‑1 PDI核心组件   Spoon是构建ETL Jobs和Transformat […]

ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式】

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

本系列文章主要索引如下: 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器 […]

kettle系列-1.kettle源码获取与运行

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

第一次写博客,心里有点小激动,肯定有很多需要改进的地方,望海涵。 kettle算是我相对较为深入研究过的开源软 […]

ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】 本系列文章主要索引如下: 一、ETL […]

kettle初探

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

Kettle是Pentaho的一个组件,主要用于数据库间的数据迁移,到我用过的4.2版,还不支持noSQL,不 […]

ETL利器Kettle实战应用解析系列一【Kettle使用介绍】

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

本系列文章主要索引如下: 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器 […]

kettle 使用JAVA代码进行执行

Posted on 2018年4月23日2020年11月29日 adminPosted in kettle经验分享

kettle 设计完成之后,可以在设计工具中进行调用,也可以使用java代码进行调用。   1.通过 […]

kettle连接国产达梦数据库

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

为了帮助网友解决“关于ETL工具kettle连接国产达梦数据库问题,用过的请进”相关的问题,学网通过互联网对“ […]

Kettle命令行使用说明

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

Kettle命令行使用说明 1.Pan——转换执行器 用来执行转换。参数与Kitchen类似,如下。 1- – […]

Kettle同步设计思路

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

  最近在整理之前的同步的kettle代码,现把之前的kettle同步的思路记录在此。     1.同步流程图 […]

KETTLE、spoon使用

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

ETL是Extract”、“ Transform” 、“Load”三个单词的首字母缩写分别代表了抽取、转换、装 […]

Kettle项目最佳实践课程

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

http://edu.51cto.com/lesson/id-82415.html  

手把手教你使用开源ETL工具kettle

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

此课程属于《手把手教你使用开源ETL工具kettle》的免费部分,主要由天善智能讲师尤建创作完成,主要包括ke […]

kettle4.1学习使用笔记

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

最近公司要用一个ETL工具,Google了一下,发现Kettle用的人好像比较多,于是下载下来试用了一下! 首 […]

Kettle使用教程(一)

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

最近做的项目用到了ETL工具Kettle,这个工具相当好用,可以将各种类型数据作为数据流,经过处理后再生成各种 […]

工作中简单的kettle使用

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

1.为kettle创建资源库 在oracle数据库上建立资源库,双击spoon.bat进入kettle 进入如 […]

Linux下定时调度kettle的转换或作业 [

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

一、个人的测试环境 1、  系统:CentOS6.564位 2、  Kettle版本:5.3 二、具体的调度配 […]

【小白实例讲解】kettle增量抽取订单数据

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

 背景:增量抽取数据,在我们实际运用中特别多,虽然听起来很简单,但是也有许多细节需要注意。今天我来给初学者做一 […]

Kettle初探

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

今天早上在网上看到了kettle发布了最新的版本,忽然想起最近其实做了不少工作应该是ETL工具的拿手好戏,赶紧 […]

让kettle的执行速度飞起来

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

摘要: 继续优化kettle,添加xmn和修改日志输出级别 在前一篇文章xms/xmx/xss在kette中的 […]

Kettle界面语言选择不当问题的解决办法

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

 Kettle默认地会检查OS的语言,而确定界面显示的语言,如在中文WINDOWS下,显示的就是中文界面。 如 […]

Kettle的一些常见问题

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

摘要:本文主要介绍使用kettle设计一些ETL任务时一些常见问题,这些问题大部分都不在官方FAQ上,你可以在 […]

我眼中的kettle ETL工具

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

“生产工具的进步是生产力发展的标志”-我第一次用Kettle(其实是Akettle版本,至今仍旧在用,而且我目 […]

Kettle总结

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

网上搜集了一些关于开源数据交换工具Kattle的文章,特收藏如下:文章一:ETL和Kettle简介 ETL即数 […]

kettle入门教程

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

1、kettle介绍       kettle是一个ETL(Extract, Transform and Lo […]

ETL高级教程kettle

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

1,Kettle跨平台使用。     例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/ […]

Kettle入门教程

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

最近做的项目用到了ETL工具Kettle,这个工具相当好用,可以将各种类型数据作为数据流,经过处理后再生成各种 […]

Kettle使用教程(一)

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

Kettle自己有三个主要组件:Spoon,Kitchen,Pan。其中Spoon是一个图形化的界面,用于wi […]

ETL后台进程执行配置方式】

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

本系列文章主要索引如下: 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器 […]

ETL利器Kettle使用介绍

Posted on 2017年2月12日2020年11月29日 adminPosted in kettle经验分享

本系列文章主要索引如下: 一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器 […]

粤ICP备13006490号-9