原创

Pentaho Work with Big Data(三)—— 向Hadoop集群导入数据

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://wxy0327.blog.csdn.net/article/details/51133760
1. 向HDFS导入数据
. 从下面的地址下载web日志示例文件,解压缩后的weblogs_rebuild.txt文件放到/home/grid/data-integration/test目录下。 http://wiki.pentaho.com/download/attachments/23530622/weblogs_rebuild.txt.zip?version=1&modificationDate=1327069200000
. 建立一个作业,把文件放置到Hadoop中。
(1)打开PDI,新建一个作业,如图1所示。


图1

(2)编辑'Hadoop Copy Files'作业项,如图2所示。


图2

说明:hadoop_local是已经建立好的Hadoop Clusters连接,建立过程参考http://blog.csdn.net/wzy0623/article/details/51086821
(3)保存并执行作业,日志如图3所示。


图3

从图3可以看到,作业已经成功执行。
(4)检查Hadoop,结果如图4所示。


图4

从图4可以看到,weblogs_rebuild.txt已经传到了Hadoop的/user/grid/目录下。

2. 向Hive导入数据
. 从下面的地址下载web日志示例文件。
http://wiki.pentaho.com/download/attachments/23530622/weblogs_parse.txt.zip?version=1&modificationDate=1327068013000
. 解压缩后的weblogs_parse.txt文件放到Hadoop的/user/grid/目录下。
hadoop fs -put weblogs_parse.txt /user/grid/
. 建立一个作业,将文件导入到hive表中。
(1)执行下面的HSQL建立一个hive表,从图5可以看到,已经在test库中建立了weblogs表,此时表中没有数据。
create table test.weblogs (
client_ip    string,
full_request_date string,
day    string,
month    string,
month_num int,
year    string,
hour    string,
minute    string,
second    string,
timezone    string,
http_verb    string,
uri    string,
http_status_code    string,
bytes_returned        string,
referrer        string,
user_agent    string)
row format delimited
fields terminated by '\t';
图5
(2)打开PDI,新建一个作业,如图1所示。
(3)编辑'Hadoop Copy Files'作业项,如图6所示。


图6

说明:hadoop_local是已经建立好的Hadoop Clusters连接,建立过程参考http://blog.csdn.net/wzy0623/article/details/51086821
(4)保存并执行作业,日志如图7所示。


图7

从图7可以看到,作业已经成功执行。
(5)查询test.weblogs表,结果如图8所示。


图8

从图8可以看到,向test.weblogs表中导入了445454条数据。
文章最后发布于: 2016-04-12 15:22:47
展开阅读全文
0 个人打赏
私信求帮助

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览