自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

原创 MySQL Fabric实验(一)HA

一、概述         MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于高可用。高可用指的是系统提供持续服务的能力。下图显示了一个系统中应该为服务可用提供的不同层次。         MySQL Fabric在MySQL复制上增加了一个管理和监控层,...

2015-12-28 15:07:12

阅读数 1810

评论数 1

原创 MySQL Fabric实验(二)Sharding

一、概述         MySQL Fabric这一新的架构为MySQL提供了高可用和向外扩展的特性。本实验专注于使用Fabric对多个MySQL服务器进行读写实现向外扩展。当单个MySQL服务器(或HA组)的写性能达到极限时,可以使用Fabric把数据分布到多个MySQL服务器组。注意这里说...

2015-12-31 14:03:56

阅读数 1529

评论数 0

原创 Data Vault初探(十) —— 星型模型向Data Vault模型转化

源数据库模型(3NF)如下图: 星型模型如下图: Data Vault模型如下图: 说明: 星型模型(star schema)的事实表采取了完全规范化的第三范式(3NF)模型,而维表采取了第二范式的设计模型。有时也会把维表的设计规范化,就成了所谓的雪花模型(snowflake ...

2015-12-15 15:07:49

阅读数 5431

评论数 1

原创 Data Vault初探(九) —— 定期装载_Kettle_附属表

装载附属表作业: 装载客户附属表: 装载订单_产品附属表: 装载产品附属表: ...

2015-12-11 17:51:03

阅读数 1574

评论数 0

原创 Data Vault初探(八) —— 定期装载_Kettle_链接表

装载链接表作业: 装载订单客户链接表: 装载订单产品链接表: 装载产品-产品分类链接表:

2015-12-11 17:35:11

阅读数 1200

评论数 0

原创 Data Vault初探(七) —— 定期装载_Kettle_中心表

装载中心表作业: 装载产品分类中心表: 装载客户中心表: 装载产品中心表: 装载销售订单中心表:

2015-12-11 17:29:04

阅读数 1462

评论数 0

原创 Data Vault初探(六) —— 定期装载_Kettle_作业

总体作业: 设置日期变量: 清空过渡表: 装载过渡表:

2015-12-11 17:15:19

阅读数 1861

评论数 1

原创 Data Vault初探(五) —— 定期装载_SQL

说明: 1. 定期装载的周期为每天一次。 2. 每天装载自上次装载后的变化数据 3. 建立源数据库的过渡表用于CDC 4. 建立cdc_time表用于基于时间戳的CDC 5. 因为源库上只有订单销售表有时间属性,所以除了sales_order和sales_order_item拉取变化数据外,其它表...

2015-12-11 17:06:07

阅读数 2077

评论数 0

原创 Data Vault初探(四) —— 初始装载

下面的SQL脚本用于完成Data Vault的初始装载过程。 USE dv; SET AUTOCOMMIT = 0; -- 清空附属表、链接表、中心表 SET FOREIGN_KEY_CHECKS=0; TRUNCATE sat_customer; TRUNCATE sat_order_pro...

2015-12-08 18:27:03

阅读数 2520

评论数 0

原创 Data Vault初探(三) —— 建立Data Vault模型

本示例源数据库是一个订单销售的普通场景,共有省、市、客户、产品类型、产品、订单、订单明细7个表。ERD如下图所示。 使用下面的脚本建立源数据库表: CREATE TABLE province ( province_id varchar(2) NOT NULL COMMENT '省份编码', ...

2015-12-08 18:05:54

阅读数 6146

评论数 2

转载 Data Vault初探(二) —— 构建及参考原则

摘自:《下一代数据仓库模型Data Vault的研究及其应用》         Data Vault模型的构建         在Data Vault模型中,各个实体组件有着严格、通用的定义与准确、灵活的功能描述,这不但使得Data Vault模型能够最直观、最一般地反映数掘之间内含的业务...

2015-12-08 18:00:10

阅读数 7607

评论数 0

转载 Data Vault初探(一) —— 基础

摘自:《Pentaho Kettle 解决方案: 使用PDI构建开源ETL解决方案》         Data Vault(DV)模型是用于企业级的数据仓库建模。由Dan Linstedt在20世纪90年代提出(http://www.danlinstedt.com)。在最近几年,Data V...

2015-12-08 17:56:29

阅读数 8966

评论数 0

提示
确定要删除当前文章?
取消 删除