自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

  • 博客(7)
  • 论坛 (3)
  • 收藏
  • 关注

原创 DBeaver连接hive、impala、phoenix、HAWQ、redis

目录一、DBeaver简介二、下载与安装三、连接hive四、连接impala五、连接phoenix六、连接HAWQ七、连接redis 伴随着技术的不断发展与进步,我们会接触和使用越来越多的数据源。从经久不衰的MySQL、Oracle、SQLserver、DB2等关系数据库,到方兴未艾的MongoDB、Redis、Cassandra等NoSQL产品,再到屡见不鲜的各种大数据组件,如Hive、Impala、HBase、Phoenix、Spark,以及林林总总的时序数...

2020-06-15 11:38:17 2237 1

原创 Kettle与Hadoop(九)提交Spark作业

实验目的:配置Kettle向Spark集群提交作业。实验环境:Spark History Server:172.16.1.126Spark Gateway:172.16.1.124172.16.1.125172.16.1.126172.16.1.127PDI:172.16.1.105Hadoop版本:CDH 6.3.1Spark版本:2.4.0-cdh6.3.1PDI版本:8.3Kettle连接CDH参见“https://wxy0327.blog.csdn.net/a

2020-06-10 10:29:06 765

原创 Kettle与Hadoop(八)执行Oozie作业

1. 打开PDI,新建一个作业,如图1所示。图12. 编辑'Oozie job executor'作业项,如图2所示。图2 说明:CDH631是已经建好的Hadoop集群连接,参见“https://wxy0327.blog.csdn.net/article/details/106406702#%E4%BA%8C%E3%80%81%E8%BF%9E%E6%8E%A5Hadoop%E9%9B%86%E7%BE%A4”。 'Enable Blocking'选项将阻止转换的其...

2020-06-09 10:12:55 576

原创 Kettle与Hadoop(七)执行Sqoop作业

目录一、Sqoop export二、Sqoop import一、Sqoop export1. 建立一个作业,将HDFS文件导出到MySQL数据库。(1)打开PDI,新建一个作业,如图1所示。图1(2)编辑'Sqoop export'作业项,如图2所示。图2 说明:CDH631是已经建好的Hadoop集群连接,参见“https://wxy0327.blog.csdn.net/article/details/106406702#%E4%BA%8C%E...

2020-06-08 10:17:55 663 1

原创 Kettle与Hadoop(六)执行HiveQL语句

1. 建立hive表,导入原始数据,过程参考https://blog.csdn.net/wzy0623/article/details/106471124#2.%20%E5%90%91Hive%E5%AF%BC%E5%85%A5%E6%95%B0%E6%8D%AE。2. 建立一个作业,查询hive表,并将聚合数据写入一个hive表。(1)打开PDI,新建一个作业,如图1所示。图1(2)编辑'SQL'作业项,如图2所示。图2 说明:hive_cdh631是已经建好...

2020-06-04 10:20:05 378

原创 Kettle与Hadoop(五)执行MapReduce

目录一、示例1——格式化原始web日志1. 准备文件与目录2. 建立一个用于Mapper的转换3. 建立一个调用MapReduce步骤的作业,使用mapper转换,仅运行map作业。4. 执行作业并验证输出二、示例2——生成聚合数据集1. 准备文件与目录2. 建立一个用于Mapper的转换3. 建立一个用于Reducer的转换4. 建立一个调用MapReduce步骤的作业,调用mapper和reducer转换。5. 执行作业并验证输出参考:一、示例1——格

2020-06-02 15:16:14 395

原创 Kettle与Hadoop(四)导入导出Hadoop集群数据

目录一、向Hadoop集群导入数据(Hadoop copy files)1. 向HDFS导入数据2. 向Hive导入数据二、从Hadoop集群抽取数据1. 把数据从HDFS抽取到RDBMS2. 把数据从Hive抽取到RDBMS参考:一、向Hadoop集群导入数据(Hadoop copy files)1. 向HDFS导入数据从下面的地址下载web日志示例文件,解压缩后的weblogs_rebuild.txt文件放到/root/big_data目录下。http://wi

2020-06-01 14:14:59 476

空空如也

wzy0623的留言板

发表于 2020-01-02 最后回复 2020-01-02

如何查看mysql使用的是哪个配置文件

发表于 2008-12-30 最后回复 2015-09-09

CSDN审核荣誉专家需要多长时间啊?

发表于 2007-07-03 最后回复 2007-07-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除