自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

wzy0623的专栏

数据库、数据仓库、大数据

我也要用
全部文章> 2016年05月
排序：
按最后发布时间
按访问量
RSS订阅

原创 在Hive上实现SCD

一、问题提出         官方一直称Hive是Hadoop数据仓库解决方案。既然是数据仓库就离不开多维、CDC、SCD这些概念，于是尝试了一把在Hive上实现SCD1和SCD2。这有两个关键点，一个是行级更新，一个是生成代理键。行级更新hive本身就是支持的，但需要一些配置，还有一些限制。具...

2016-05-26 17:18:34 4161 0

原创 让Hive支持行级insert、update、delete

Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。 一、Hive具有ACID语义事务的使用场景 1. 流式接收数据。 许多用户使用诸如Apache Flume、Apache Stor...

2016-05-23 18:12:01 60505 0

转载 spark应用程序的运行架构

转自：spark应用程序的运行架构 几个基本概念： （1）job：包含多个task组成的并行计算，往往由action催生。 （2）stage：job的调度单位。 （3）task：被送到某个executor上的工作单元。 （4）taskSet：一组关联的，相互之间没有shuffle依赖关系...

2016-05-18 09:32:02 985 0

原创 PageRank算法在spark上的简单实现

在《Spark快速大数据分析》里有一段不明觉厉的Scala代码，只用了区区几行即实现了Google的PageRank算法，于是照猫画虎做了个小实验验证了一下。 一、实验环境 spark 1.5.0 二、PageRank算法简介（摘自《Spark快速大数据分析》）         PageRan...

2016-05-12 13:02:30 13948 1

原创 为已存在的Hadoop集群配置HDFS Federation

一、实验目的 1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群，不影响数据访问。 二、实验环境 4台CentOS release 6.4虚拟机，IP地址为 19...

2016-05-06 09:59:08 5686 0

提示
确定要删除当前文章？
取消 删除