原创

维度模型数据仓库(七) —— 按需装载

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://wxy0327.blog.csdn.net/article/details/49664469
(五)进阶技术
        2. 按需装载
        前面已经做了“初始装载”和“定期装载”。还有一种需要熟悉的装载类型,按需装载。所谓“按需装载”指的是,在正常调度之外,当源数据有效时或者数据仓库需要时进行装载。例如,促销销售源数据只有在促销期内有效,而在其它时间是无效的。

        在“准备数据仓库模拟环境”中讨论的“生成日期维度数据”可以看做是一种按需装载。数据仓库预先装载了日期,当日期用完时,需要再次运行预装载。

        本篇的主题是按需装载,首先修改数据库模式,然后在dw数据库上执行按需装载。使用促销期场景进行说明。定期装载不适合促销期场景,因为促销期数据并不是按调度装载。下面是需要装载的促销期内容,存储在名为一个promo_schedule.csv的CSV平面文件中。

PROMOTION CODE,PROMOTION NAME,START DATE,LAST DATE
SO,Special Offer,2015-04-01,2015-04-10
DP,Disk Promotion,2015-05-05,2015-05-20
MS,Month Special,2015-06-01,2015-06-30
MS,Monitor Promotion,2015-07-10,2015-07-15
BS,Back to School,2015-08-10,2015-08-30

        注意源数据提供了促销周期,而不是单个的促销日期。示例假设只需要装载今后新的促销数据,而在数据仓库中不需要促销期的历史数据。

        修改数据库模式
        图(五)- 2-1 显示了修改后的模式,date_dim表增加了promo_ind列,用来标识该日期是否为促销日期。使用清单(五)-2-1里的SQL脚本修改数据库模式。脚本中还建立了一个促销过渡表,用来装载促销期CSV文件的内容。
图(五)- 2-1

USE dw;

TRUNCATE promo_schedule_stg;
LOAD DATA INFILE '/root/data-integration/promo_schedule.csv'
INTO TABLE promo_schedule_stg
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES
( promo_code
, promo_name
, promo_start_date
, promo_last_date ) ;

UPDATE date_dim a,
    promo_schedule_stg b 
SET 
    a.promo_ind = 'Y'
WHERE
    a.date >= b.promo_start_date
        AND a.date <= b.promo_last_date ;

COMMIT ;
清单(五)-2-1

        清单(五)-2-2里是执行按需装载SQL脚本。需要在日期装载后运行该脚本,换句话说,所有促销期内从开始到结束的日期,在日期维度里都是存在的。实际上装载所做的就是,如果一个日期在一个促销期内,则设置date_dim表的promo_ind列为‘Y’。

        使用Kettle步骤装载促销期很容易,不需要使用过渡表,只要三个步骤即可,如图(五)- 2-2到(五)- 2-7所示。
USE dw;

TRUNCATE promo_schedule_stg;
LOAD DATA INFILE '/root/data-integration/promo_schedule.csv'
INTO TABLE promo_schedule_stg
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 LINES
( promo_code
, promo_name
, promo_start_date
, promo_last_date ) ;

UPDATE date_dim a,
    promo_schedule_stg b 
SET 
    a.promo_ind = 'Y'
WHERE
    a.date >= b.promo_start_date
        AND a.date <= b.promo_last_date ;

COMMIT ;
清单(五)-2-2

图(五)- 2-2

图(五)- 2-3

图(五)- 2-4

图(五)- 2-5

图(五)- 2-6

图(五)- 2-7

假设转换名称是on_demand,用以下命令执行转换:
cd /root/data-integration
./pan.sh -rep kettle -user admin -pass admin -dir / -trans on_demand -level=basic > on_demand.log

验证结果应该如下所示:
mysql> select * from date_dim where date >= '2015-04-01' and date <= '2015-04-10';
+---------+------------+------------+-------+---------+------+-----------+----------------+-------------+
| date_sk | date       | month_name | month | quarter | year | promo_ind | effective_date | expiry_date |
+---------+------------+------------+-------+---------+------+-----------+----------------+-------------+
|    5570 | 2015-04-01 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5571 | 2015-04-02 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5572 | 2015-04-03 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5573 | 2015-04-04 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5574 | 2015-04-05 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5575 | 2015-04-06 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5576 | 2015-04-07 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5577 | 2015-04-08 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5578 | 2015-04-09 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
|    5579 | 2015-04-10 | April      |     4 |       2 | 2015 | Y         | 0000-00-00     | 9999-12-31  |
+---------+------------+------------+-------+---------+------+-----------+----------------+-------------+
10 rows in set (0.10 sec)

        在五个促销期里有共有83的促销日。第一个周期有10天(2015年4月1日、2015年4月2日;…2015年4月10日),第二个促销周期有16天(2015年5月5日,2015年5月6日;…2015年5月20日),等等。查询第一个周期应该有10天的promo_ind列上具有Y值。
文章最后发布于: 2015-11-05 16:30:57
展开阅读全文
0 个人打赏
私信求帮助

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览