自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

wzy0623的专栏

数据库、数据仓库、大数据

我也要用

原创在Hive上实现SCD

一、问题提出官方一直称Hive是Hadoop数据仓库解决方案。既然是数据仓库就离不开多维、CDC、SCD这些概念，于是尝试了一把在Hive上实现SCD1和SCD2。这有两个关键点，一个是行级更新，一个是生成代理键。行级更新hive本身就是支持的，但需要一些配置，还有一些限制。具...

2016-05-26 17:18:34

阅读数 2890

评论数 0

原创让Hive支持行级insert、update、delete

Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。一、Hive具有ACID语义事务的使用场景 1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Stor...

2016-05-23 18:12:01

阅读数 48918

评论数 0

转载 spark应用程序的运行架构

转自：spark应用程序的运行架构几个基本概念：（1）job：包含多个task组成的并行计算，往往由action催生。（2）stage：job的调度单位。（3）task：被送到某个executor上的工作单元。（4）taskSet：一组关联的，相互之间没有shuffle依赖关系...

2016-05-18 09:32:02

阅读数 913

评论数 0

原创 PageRank算法在spark上的简单实现

在《Spark快速大数据分析》里有一段不明觉厉的Scala代码，只用了区区几行即实现了Google的PageRank算法，于是照猫画虎做了个小实验验证了一下。一、实验环境 spark 1.5.0 二、PageRank算法简介（摘自《Spark快速大数据分析》） PageRan...

2016-05-12 13:02:30

阅读数 11089

评论数 1

原创为已存在的Hadoop集群配置HDFS Federation

一、实验目的 1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群，不影响数据访问。二、实验环境 4台CentOS release 6.4虚拟机，IP地址为 19...

2016-05-06 09:59:08

阅读数 5417

评论数 0

wzy0623

博客专家 TA的个人主页 >

原创: 360

粉丝: 5612

获赞: 570

评论: 432

访问: 210万+

等级:

周排名:: 263

积分:: 1万+

总排名:: 854

勋章:

专栏达人

授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮！撰写博客专栏浓缩技术精华，专栏达人就是你！

持之以恒

授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里，不积小流无以成江海，程序人生的精彩需要坚持不懈地积累！

勤写标兵Lv1

授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。

原力计划专属勋章

参与原力计划活动，成功进入英雄榜即可获得

关注

私信

最新文章

分类专栏

归档

热门文章

让Hive支持行级insert、update、delete
阅读数 48914
Hive实现自增列的两种方法
阅读数 33053
基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）
阅读数 29184
kylin 安装配置实验
阅读数 23753
HAWQ技术解析（一） —— HAWQ简介
阅读数 23725

最新评论

Hive进行身份证合法性校验
qq_33656602：谢谢
Galera Cluster fo...
qq_39847195：您好大神麻烦问一下 Galera 增加新的节点时原节点的配置文件my.cnf的wsrep_cluster_address参数是否需要添加新节点的ip? 如果需要增加如何重启mysql服务？
Galera Cluster fo...
minioesina：这是一个运维干的事吗？感觉深坑了😂
基于Hadoop生态圈的数据仓库实...
txh911：DROP PROCEDURE IF EXISTS generate_sales_order_data; DROP TABLE IF EXISTS temp_sales_order_data; CREATE TABLE temp_sales_order_data AS SELECT * FROM sales_order WHERE 1=0; DELIMITER $ CREATE PROCEDURE generate_sales_order_data() BEGIN SET @start_date:=unix_timestamp('2016-03-01'); SET @end_date:=unix_timestamp('2016-07-01'); SET @i:=1; WHILE @i<=100 DO SET @customer_number:=floor(1 + rand() * 6); SET @product_code:=floor(1 + rand() * 2); SET @order_date:=from_unixtime(@start_date + rand() * (@end_date - @start_date)); SET @amount:=floor(1000 + rand() * 9000); INSERT INTO temp_sales_order_data VALUES (@i,@customer_number,@product_code,@order_date,@order_date,@amount); SET @i:=@i+1; END WHILE; TRUNCATE TABLE sales_order; INSERT INTO sales_order SELECT NULL,customer_number,product_code,order_date,entry_date,order_amount from temp_sales_order_data; COMMIT; END $ DELIMITER ; CALL generate_sales_order_data();
使用MySQL Router实现高...
Blue_Tear：读写分别使用不同的端口，是需要应用做改变的

提示

确定要删除当前文章？

取消删除