自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

原创 DBeaver连接hive、impala、phoenix、HAWQ、redis

目录 一、DBeaver简介 二、下载与安装 三、连接hive 四、连接impala 五、连接phoenix 六、连接HAWQ 七、连接redis 伴随着技术的不断发展与进步,我们会接触和使用越来越多的数据源。从经久不衰的MySQL、Oracle、SQLserver、DB2...

2020-06-15 11:38:17 690 1

原创 Kettle与Hadoop(九)提交Spark作业

实验目的: 配置Kettle向Spark集群提交作业。 实验环境: Spark History Server: 172.16.1.126 Spark Gateway: 172.16.1.124 172.16.1.125 172.16.1.126 172.16.1.127 PDI: 172.1...

2020-06-10 10:29:06 404 0

原创 Kettle与Hadoop(八)执行Oozie作业

1. 打开PDI,新建一个作业,如图1所示。 图1 2. 编辑'Oozie job executor'作业项,如图2所示。 图2 说明: CDH631是已经建好的Hadoop集群连接,参见“https://wxy0327.blog.csdn.net/art...

2020-06-09 10:12:55 281 0

原创 Kettle与Hadoop(七)执行Sqoop作业

目录 一、Sqoop export 二、Sqoop import 一、Sqoop export 1. 建立一个作业,将HDFS文件导出到MySQL数据库。 (1)打开PDI,新建一个作业,如图1所示。 图1 (2)编辑'Sqoop export'作业项,如图2...

2020-06-08 10:17:55 223 0

原创 Kettle与Hadoop(六)执行HiveQL语句

1. 建立hive表,导入原始数据,过程参考 https://blog.csdn.net/wzy0623/article/details/106471124#2.%20%E5%90%91Hive%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE。 2. 建立一个作业,查询...

2020-06-04 10:20:05 186 0

原创 Kettle与Hadoop(五)执行MapReduce

目录 一、示例1——格式化原始web日志 1. 准备文件与目录 2. 建立一个用于Mapper的转换 3. 建立一个调用MapReduce步骤的作业,使用mapper转换,仅运行map作业。 4. 执行作业并验证输出 二、示例2——生成聚合数据集 1. 准备文件与目录 2. 建立一...

2020-06-02 15:16:14 206 0

原创 Kettle与Hadoop(四)导入导出Hadoop集群数据

目录 一、向Hadoop集群导入数据(Hadoop copy files) 1. 向HDFS导入数据 2. 向Hive导入数据 二、从Hadoop集群抽取数据 1. 把数据从HDFS抽取到RDBMS 2. 把数据从Hive抽取到RDBMS 参考: 一、向Hadoop集群导入数据(H...

2020-06-01 14:14:59 237 0

提示
确定要删除当前文章?
取消 删除