自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

原创 Kettle与Hadoop(三)连接Hadoop

目录 一、环境说明 二、连接Hadoop集群 三、连接Hive 四、连接Impala 五、后续(建立MySQL数据库连接) Kettle可以与Hadoop协同工作。让我们从简单的开始,本文介绍如何配置Kettle访问Hadoop集群(HDFS、MapReduce、Zookeep...

2020-05-28 16:04:06 626 0

原创 Kettle与Hadoop(二)Kettle安装配置

目录 一、安装Java 二、安装Kettle 三、运行Kettle程序 1. 安装Linux图形环境 2. 安装配置VNC Server 3. 在客户端使用vncviewer连接系统 4. 执行spoon.sh 四、给Spoon创建一个桌面快捷启动方式 五、配置 1. 配置文件...

2020-05-28 10:36:06 771 0

原创 Kettle与Hadoop(一)Kettle简介

目录 一、Kettle设计原则 二、转换 1. 步骤 2. 转换的跳 3. 并行 4. 数据行 5. 数据转换 (1)Date和String的转换 (2)Numeric和String的转换 (3)其它转换 三、作业 1. 作业项 2. 作业跳 3. 多路径和回溯 4....

2020-05-26 14:59:08 466 0

原创 Kettle工具——Spoon、Kitchen、Pan、Carte

目录 1. Spoon 2. Kitchen和Pan (1)命令行参数 (2)例子 3. Carte Kettle里有不同的工具,用于ETL的不同阶段。主要工具如下: Spoon:图形化工具,用于快速设计和维护复杂的ETL工作流。 Kitchen:运行作业的命令行工具。 ...

2020-05-25 10:39:42 335 0

原创 Kettle数据库连接中的集群与分片

目录 1. 在数据库连接中使用集群 2. 创建数据库分区schemas 3. 启用数据库分区 4. 例子 (1)将三个mysql实例的数据导入到另一个mysql实例 (2)将一个mysql实例的数据分发到三个mysql实例 (3)将三个mysql实例的数据导入到另三个mysql实例 ...

2020-05-21 17:22:49 274 0

原创 彻底搞清 Kettle 数据分发方式与多线程

Kettle转换中,各步骤之间行集(row set)的发送有分发和复制两种方式,本文讨论这两种方式的区别,以及它们与Kettle多线程的关系。我们用一个简单的例子辅助说明,Kettle版本为8.3。定义一个转换,以t1表作为输入,输出到表t2和t3。t1表中有1-10十个整数。当创建第二个跳(ho...

2020-05-20 16:58:50 839 0

提示
确定要删除当前文章?
取消 删除