自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

原创 Kettle构建Hadoop ETL实践(五):数据抽取

目录 一、Kettle数据抽取概览 1. 文件抽取 (1)处理文本文件 (2)处理XML文件 2. 数据库抽取 二、变化数据捕获 1. 基于源数据的CDC 2. 基于触发器的CDC 3. 基于快照的CDC 4. 基于日志的CDC 三、使用Sqoop抽取数据 1. Sqoop...

2020-09-29 14:37:17 888 1

原创 Kettle构建Hadoop ETL实践(四):建立ETL示例模型

目录 一、业务场景 1. 操作型数据源 2. 销售订单数据仓库模型设计 二、HIVE相关配置 1. 选择文件格式 2. 选择表类型 3. 支持行级更新 4. Hive事务支持的限制 三、建立数据库表 1. 源数据库表 2. RDS库表 3. TDS库表 四、装载日期维度数...

2020-09-04 18:03:37 461 0

原创 Kettle构建Hadoop ETL实践(三):Kettle对Hadoop的支持

目录 一、Hadoop相关的步骤与作业项 二、连接Hadoop 1. 连接Hadoop集群 (1)开始前准备 (2)配置步骤 2. 连接Hive 3. 连接Impala 4. 建立MySQL数据库连接 三、导入导出Hadoop集群数据 1. 向HDFS导入数据 2. 向Hiv...

2020-09-01 15:26:57 901 1

提示
确定要删除当前文章?
取消 删除