自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

原创 用beeline连接SparkSQL

1. 在$SPARK_HOME/conf/hive-site.xml文件中添加下面的属性 vi $SPARK_HOME/conf/hive-site.xml               hive.metastore.uris         thrift://master:9083       ...

2016-03-28 16:49:43

阅读数 10854

评论数 0

原创 使用hive查询把访问网络流量会话化

《Hive编程指南》最后一章的Outbrain案例中,有一个把访问网络流量会话化的简单实现,但按照它的查询出来的结果是错的,于是自己重写了一个。 一、问题提出(摘自书中原文)         为了分析网络流量,我们常常希望能够基于各种各样的标准来测量热度。一种方法就是将用户行为分解到会话中,一次...

2016-03-28 11:40:17

阅读数 2517

评论数 0

原创 Spark 安装配置实验

安装前准备 hadoop 2.7.2 安装配置,参考 http://blog.csdn.net/wzy0623/article/details/50681554 安装spark 1. 下载spark安装包,地址:http://spark.apache.org/downloads.html 下载页...

2016-03-21 15:19:30

阅读数 2603

评论数 0

原创 利用sqoop将hive和mysql数据互导简单实验

1. Hadoop、Hive、MySQL安装(略) 2. 下载sqoop http://www.apache.org/dyn/closer.lua/sqoop/1.4.6 3. 解压 tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4...

2016-03-18 11:16:22

阅读数 4845

评论数 0

原创 kettle 5.1.0 连接 Hadoop hive 2 (hive 1.2.1)

1. 配置HiveServer2,在hive-site.xml中添加如下的属性     hive.server2.thrift.bind.host     192.168.56.101     Bind host on which to run the HiveServer2 Thrif...

2016-03-16 10:53:55

阅读数 12089

评论数 2

原创 hive动态分区插入实验

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入 实验步骤 1. 在本地文件/home/grid/a.txt中写入以下4行数据: aaa,US,CA aaa,US,CB bbb,CA,BB bbb,CA,BC 2. 建立非分...

2016-03-07 11:15:48

阅读数 8441

评论数 1

原创 hive 表数据加载、表删除试验

1. 非分区表 (1)load 加载数据 本地文本文件a.txt中有一行'aaa',执行下面的命令。 CREATE TABLE t1 (name STRING); LOAD DATA LOCAL INPATH '/home/grid/a.txt' INTO TABLE t1; SELECT ...

2016-03-04 17:14:51

阅读数 3972

评论数 0

提示
确定要删除当前文章?
取消 删除