Data Vault初探(七) —— 定期装载_Kettle_中心表
wzy0623
2015-12-11 17:29:04
1650
收藏
1
分类专栏:
MySQL
BI
最后发布:2015-12-11 17:29:04
首次发布:2015-12-11 17:29:04
版权声明:本文为博主原创文章,遵循<a href="http://creativecommons.org/licenses/by-sa/4.0/" target="_blank" rel="noopener"> CC 4.0 BY-SA </a>版权协议,转载请附上原文出处链接和本声明。
本文链接:
https://blog.csdn.net/wzy0623/article/details/50266465
版权
装载中心表作业:
装载产品分类中心表:
装载客户中心表:
装载产品中心表:
装载销售订单中心表:
点赞
评论
分享
x
海报分享
扫一扫,分享海报
收藏
1
打赏
打赏
wzy0623
你的鼓励将是我创作的最大动力
C币
余额
2C币
4C币
6C币
10C币
20C币
50C币
确定
举报
关注
关注
一键三连
点赞Mark关注该博主, 随时了解TA的最新博文
已标记关键词
清除标记
Data
Vault
数据库建模指南.pdf
08-23
DATA
VAULT
建模指南,包含建模理论和实例指导。详细描述
data
vault
建模方法的文档。
Oracle数据安全解决方案系列-----
Data
base
Vault
安装篇
cnbird's blog
04-14
3145
http://space.itpub.net/3704/viewspace-559855 http://www.red-
data
base-security.com/wp/installing_oracle_
data
vault
.pdf 现在在安全方面谈及比较热的话题是啥,大家搜索下就会发现, SOX, Basel II, HIPAA, J-SOX, GLB, Privacy laws
插入表情
添加代码片
HTML/XML
objective-c
Ruby
PHP
C
C++
JavaScript
Python
Java
CSS
SQL
其它
还能输入
1000
个字符
“速评一下”
Data
Vault
初探
(九) ——
定期
装载
_Kettle_
附属
表
wzy0623的专栏
12-11
1825
装载
附属
表
作业:
装载
客户附属
表
:
装载
订单_产品附属
表
:
装载
产品附属
表
:
装载
产品分类附属
表
:
Data
Vault
初探
(八) ——
定期
装载
_Kettle_
链接
表
wzy0623的专栏
12-11
1383
装载
链接
表
作业:
装载
订单客户链接
表
:
装载
订单产品链接
表
:
装载
产品-产品分类链接
表
:
Data
Vault
初探
(六) ——
定期
装载
_Kettle_
作业
wzy0623的专栏
12-11
2097
总体作业: 设置日期变量: 清空过渡
表
:
装载
过渡
表
:
是!“不会数据分析的,全是假程序员!”HR:太真实......(附资料,建议白嫖)
CSDN学院
11-10
3万+
数据正在变得越来越常见,小到我们每个人的社交网络、消费信息、运动轨迹……大到企业的销售、运营数据,产品的生产数据,交通网络数据…… 如何从海量数据中获得别人看不见的知识,如何利用数据来武装营销工作、优化产品、用户调研、支撑决策,数据分析可以将数据的价值最大化。 所以无论你做产品,运营,HR,财务,还是做研发,系统架构,在数不清的场景下,数据分析都是基本功,它不是一个职位,而是一个技能。 因此,我们才会说,学习数据分析,无论你的职场目标是什么,基本都是必须的,而且不会过时。 但是一提数据分析,很多人就
Data
Vault
初探
(五) ——
定期
装载
_SQL
wzy0623的专栏
12-11
2415
说明: 1.
定期
装载
的周期为每天一次。 2. 每天
装载
自上次
装载
后的变化数据 3. 建立源数据库的过渡
表
用于CDC 4. 建立cdc_time
表
用于基于时间戳的CDC 5. 因为源库上只有订单销售
表
有时间属性,所以除了sales_order和sales_order_item拉取变化数据外,其它
表
都整体拉取到过渡区。实际环境中建议在源
表
设计上应该有created和last_updated
Data
Vault
初探
(十) —— 星型模型向
Data
Vault
模型转化
wzy0623的专栏
12-15
7035
源数据库模型(3NF)如下图: 星型模型如下图:
Data
Vault
模型如下图: 说明: 星型模型(star schema)的事实
表
采取了完全规范化的第三范式(3NF)模型,而维
表
采取了第二范式的设计模型。有时也会把维
表
的设计规范化,就成了所谓的雪花模型(snowflake schema)。 星型模型向
Data
Vault
模型转化: 星型模趔的主要构成部分是维
表
与事实
Data
Vault
初探
(三) —— 建立
Data
Vault
模型
wzy0623的专栏
12-08
7341
本示例源数据库是一个订单销售的普通场景,共有省、市、客户、产品类型、产品、订单、订单明细7个
表
。ERD如下图所示。 使用下面的脚本建立源数据库
表
: CREATE TABLE province ( province_id varchar(2) NOT NULL COMMENT '省份编码', province_name varchar(20) DEFAULT NULL COMMENT
Data
Vault
初探
(四) —— 初始
装载
wzy0623的专栏
12-08
2906
下面的SQL脚本用于完成
Data
Vault
的初始
装载
过程。 USE dv; SET AUTOCOMMIT = 0; -- 清空附属
表
、链接
表
、
中心
表
SET FOREIGN_KEY_CHECKS=0; TRUNCATE sat_customer; TRUNCATE sat_order_product; TRUNCATE sat_product; TRUNCATE sat_product_c
Data
Vault
初探
(一) —— 基础
wzy0623的专栏
12-08
1万+
摘自:《Pentaho Kettle 解决方案: 使用PDI构建开源ETL解决方案》
Data
Vault
(DV)模型是用于企业级的数据仓库建模。由Dan Linstedt在20世纪90年代提出(http://www.danlinstedt.com)。在最近几年,
Data
Vault
模型获得了很多关注,并在BI社区里拥有了一批追随者。 Dan Linsted
Data
Vault
初探
(二) —— 构建及参考原则
wzy0623的专栏
12-08
8756
摘自:《下一代数据仓库模型
Data
Vault
的研究及其应用》
Data
Vault
模型的构建 在
Data
Vault
模型中,各个实体组件有着严格、通用的定义与准确、灵活的功能描述,这不但使得
Data
Vault
模型能够最直观、最一般地反映数掘之间内含的业务规则,同时也为构建
Data
Vault
模型提供了一致而普遍的方法。 简单地讲,
Data
Vault
模
Hadoop 之上的数据建模 -
Data
Vault
2.0
wujiandao的专栏
03-10
4982
对比传统的基于 RDBMS 之上的数据仓库和商业智能项目,尝试着说说,Hadoop 之上的数据仓库,从ETL, 数据存储,到分析展现。重点围绕数据建模方面做分析,因为这是本文的重点,介绍一份新的数据建模方式
Data
Vault
2.0. ETL 最基本的构建来自于 转换和工作流。 工作流,作用是规划一条完整的数据转换流。 转换,是 ETL 最
中心
的组件。可以用 MapReduce 来完成,...
技术破局:AI程序员2021如何跳出舒适圈?!
CSDN学院
01-05
2万+
近日,IDC调研机构与浪潮联合发布《2020-2021 中国人工智能计算力发展评估报告 》。报告显示,预计2020 年中国AI市场规模将达到 62.7亿美元,2019~2024 年的年复合增长率为 30.4%,中国成为全球各个区域里面AI的投资发展最快的一个国家。 报告从AI算力产业发展趋势、市场规模、区域算力分布和行业AI算力保有程度等多个角度进行全面综合评估,旨在评估中国人工智能发展的现状,为推动产业AI化发展提供极具价值的参考依据和行动建议。 同时小编注意到据 BOSS直聘发布的《2020人才资.
Data
Vault
模型
初探
晓阳的数据小站
03-02
206
(一)
Data
Vault
简介
Data
Vault
模型自2001年起便被提出,原本用于在市场上作为
表
征系统的一个营销术语。
Data
Vault
的翻译为公共基础性仓库架构,包括了建模、方法论、架构和实施四个方面的实践过程。
Data
Vault
有1.0和2.0两个版本,1.0版本主要关注数据建模部门,而2.0部分主要关注如何提供灵活、可扩展的模式。本文所涉及内容主要为2.0版本。 (...
Date
Vault
概念
似梦似意境
06-08
532
Data
Vault
(DV)模型是用于企业级的数据仓库建模。由Dan Linstedt在20世纪90年代提出(http://www.danlinstedt.com)。在最近几年,
Data
Vault
模型获得了很多关注,并在BI社区里拥有了一批追随者。 Dan Linstedt将
Data
Vault
模型定义如下:
Data
Vault
是面向细节的,可追踪历史的,它是一组有...
Linux 镜像文件ISO下载地址:
Knight
07-29
4万+
Linux 镜像文件ISO下载地址: http://archive.kernel.org/centos-
vault
/6.1/isos/x86_64/ 选择: CentOS-6.1-x86_64-bin-DVD1.iso 下载就OK,下载后可以在虚拟机上进行运行。 ...
数据仓库
Data
Vault
模型详解
limingxin007的博客
06-14
764
数据库,不管是以什么模型搭建的数据库,ER(entity-relationship Modelling)也好,DM(Dimensional Modelling)也好,或者数据块Cube也好,说白了其实就是无数的
表
格组成起来的,至于它们如何去进行划分和连接这些
表
格,这就是不同数据库模型的不同
表
现,最终体现在性能上的不同。 1. 名词解释 解释一个概念先从它的名字开始介绍
Data
Vault
: 电子仓库/电子资料室/数据仓库。 我看了国内很多文章和博客,都没有发现这个这个名词的来源,于是我去wiki找到了,D
数据仓库之
Data
Vault
模型总结
junweishiwo的专栏
09-25
1万+
一,
Data
Vault
模型有几个主要的组件,这里先总结一下: 1.Hub组件,是一个数据
表
,用于记录在业务应用中常用到的业务实体键值,如员工ID,发票号、客户编号、车辆号等。
表
内包括几个关键字段:代理主键(Surrorgate Key),即hub
表
的主键;业务实体主键(Business Key),记录业务键值;
装载
时间(Load
Data
/Time Stamp),记录该业务键值的记录时间;...
Data
Vault
数据工匠-PowerData
04-14
7176
转载: http://
data
warehou.se/knowledge/
data
-
vault
/#comment-146
Data
Vault
前言:
Data
Vault
这个词对我来说非常陌生,一次和Vincent的邮件交流中他提到这个概念。查了下资料,总结如下。
Data
Vault
是一种新的针对企业级数据仓库的数据建模方法,该概念主要面向数据架构师、数据建模人员和数据库管理员。
OpenStack
游离态De猫
11-01
4024
OpenStack概述 OpenStack是一个免费开放源代码的云计算平台,用户可以将其部署成为一个基础设施即服务(Iaas)的解决方案。OpenStack不是一个单一的项目,而是由许多相关的项目组成,包括Nova、Swift、Keystone、Horizon等。这些项目分别实现了不同的功能,例如弹性计算服务、对象存储服务、虚拟机磁盘镜像服务、安全统一认证服务以及管理平台 OpenStack最...
©️2020 CSDN
皮肤主题: 深蓝海洋
设计师:CSDN官方博客
返回首页