自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wzy0623的专栏

数据库、数据仓库、大数据

原创 年年岁岁花相似,岁岁年年人不同

2016年就这么过去了,回头望一望这一年所经历的的种种平凡琐事,总想说点什么。在国企工作的三年半时间里,每年这个时候都要写工作总结,并且要当着单位所有人的面说一遍。口才好或表现欲强的同事在这个场合通常会脱稿演说,或口若悬河,或语出惊人,虽然有哗众取宠之嫌疑,但足令我等文采口才双输之辈羡慕之至。此一...

2016-12-30 05:25:22 1612 3

原创 Oracle 10g 加密包 DBMS_CRYPTO

Oracle DBMS_CRYPTOVersion 10.2 General InformationSource{ORACLE_HOME}/rdbms/admin/dbmsobtk.sqlAlgorithm ConstantsNameData TypeValueHash FunctionsHASH...

2016-12-29 14:13:58 1656 0

原创 Oracle 中的树查询和 connect by

Oracle 中的树查询和 connect by使用 connect by 和 start with 来建立类似于树的报表并不难,只要遵循以下基本原则即可:使用 connect by 时各子句的顺序应为:selectfromwherestart withconnect byorder byprio...

2016-12-29 14:12:26 810 0

原创 Oracle 10g 流复制(Streams Replication)配置

Oracle 流是一种数据共享的通用机制,可以被用于许多处理的基础,包括消息、复制和数据仓库的 ETL 过程。它是高级队列、LogMinor、作业调度等已存在技术的扩展。这里做一个简单的复制示例来说明其用法。试验环境:windows server 2003 sp1;10g 10.1.0.2源库:S...

2016-12-29 14:11:13 1227 0

原创 Oracle 多主(Master Replication)复制配置

一、环境windows server 2003 sp1;10g 10.1.0.2主体定义站点:SID:db1 IP:10.1.8.201主体站点:SID:db2 IP:10.1.9.49二、配置1. db1 上的操作-- 确保下面参数配置db_domain='mytest.com...

2016-12-29 14:09:26 1781 0

原创 Oracle 高级数据复制(Advanced Replication)

一、试验环境:A机:IP:10.1.8.201     OS:WindowsServer 2003 Standard Edition SP1;     DB:Oracle 10g Enterprise Edition Release 10.1.0.2.0;     数据库字符集:NLS_CHARA...

2016-12-29 14:08:04 761 0

原创 Oracle自定义一个把 IP 地址转成整数的函数

CREATE OR REPLACE FUNCTION fn_ipaddr_to_num (p_ipaddr VARCHAR2) RETURN NUMBER IS v_ret NUMBER := 0; k INT := 3; j INT := 0; i INT...

2016-12-29 14:06:27 1727 0

原创 Oracle 自定义split 函数

Oracle没有提供split函数,但可以自己建立一个函数实现此功能。比如“abc defg  hijkl   nmopqr     stuvw  xyz”,分隔符是空格,但空格个数不定。源代码:CREATE OR REPLACE TYPE ty_str_split IS TABLE OF VAR...

2016-12-29 14:04:17 1755 0

原创 Oracle中的三种 UPDATE FROM 的解决方案

表的更新操作中,在很多情况下需要在表达式中引用要更新的表以外的数据。象sql server提供了update的from 子句,可以将要更新的表与其它的数据源连接起来。虽然只能对一个表进行更新,但是通过将要更新的表与其它的数据源连接起来,就可以在update的表达式中引用要更新的表以外的其它数据。例...

2016-12-29 14:00:04 25244 0

原创 一个用 Oracle 函数索引进行优化的例子

表中有500万条记录,原来没有索引:set timing onset autotrace traceonlySQL> select count(*), to_char(time,'hh24') from userloginlog2 where trunc(time) = ...

2016-12-29 13:57:16 865 0

转载 什么是 ODS

ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡,也是数据仓库项目的可选项之一。    根据Bill.Inmon的定义,“数据仓库是面向主题的、集成的、稳定的、随时间变化的,主要用于决策支持的数据库系统”...

2016-12-29 13:55:33 3228 0

原创 Oracle 中 isnumeric 的三种实现

1. 利用 to_numberCREATE OR REPLACE FUNCTION isnumeric (str IN VARCHAR2)   RETURN NUMBERIS   v_str FLOAT;BEGIN   IF str IS NULL   THEN      RETURN 0;   ...

2016-12-29 13:53:49 2496 0

原创 配置 Oracle 透明网关访问 SQL Server

试验环境:OS:XPOracle 10.1SQLSERVER2000HOSTNAME:home-30b98e1e20都使用 tcp/ip 默认端口 1. 安装 TRANSPARENT GATEWAY 选件使用 Oracle Universal Instraller 在已安装的 ORACLE_HOM...

2016-12-29 13:51:57 890 0

原创 Oracle 索引的分类

看到 itpub 论坛上的一个帖子,对 Oracle 的索引分类总结得言简意赅,于是收藏过来。又补充了一点RAC用到的反向索引的东西。逻辑上: Single column 单列索引Concatenated 多列索引Unique 唯一索引NonUnique 非唯一索引Function-based函数...

2016-12-29 13:48:37 1028 0

原创 数据可视化简介

数据可视化在维基百科上是这样定义的:指一种表示数据或信息的技术,它将数据或信息编码为包含在图形里的可见对象,如点、线、条等,目的是将信息更加清晰有效地传达给用户,是数据分析或数据科学的关键技术之一。简单地说,数据可视化就是以图形化方式表示数据。决策者可以通过图形直观地看到数据分析结果,从而更容易理...

2016-12-29 13:23:40 4995 0

原创 DW、OLAP、DM、DSS 的关系

DW:    Data Warehouse                     数据仓库    OLAP:  On-Line Analytical Processing      联机分析处理    DM:    Data Mining                        数据挖掘 ...

2016-12-29 13:21:27 2785 0

原创 Oracle sqlldr 如何导入一个日期列

1.LOAD DATAINFILE *INTO TABLE testFIELDS TERMINATED BY X'9'TRAILING NULLCOLS(    c2 "upper(:c2)",    c3 date "yyyymmdd"...

2016-12-29 13:16:25 9113 0

原创 Oracle数据库的安全性措施概述

Oracle的安全措施主要有三个方面,一是用户标识和鉴定;二是授权和检查机制;三是审计技术(是否使用审计技术可由用户灵活选择);除此之外,Oracle还允许用户通过触发器灵活定义自己的安全性措施。一、用户标识和鉴定  在Oracle中,最外层的安全性措施是让用户标识自己的名字,然后由系统进行核实。...

2016-12-29 13:14:58 1755 0

原创 Oracle sql loader 导数据时添加序号的三种方法

1.用触发器和序列实现CREATE SEQUENCE u.seq_questionnoSTART WITH 0MAXVALUE 999999999999999999999999999MINVALUE 0NOCYCLENOCACHENOORDER;CREATE OR REPLACE TRIGGER ...

2016-12-29 13:11:29 2367 0

原创 Oracle 的汉字排序问题

使用拼音排序    select * from t1 order by nlssort(c1,'NLS_SORT=SCHINESE_PINYIN_M');使用笔画排序    select * from t1 order by nlssort(c1,'NLS_SORT=...

2016-12-29 13:09:13 3562 0

原创 判断一个字符串中是否含有中文的简单方法

以下是我实际使用的方法,在MySQL中还不知道如何用SQL来查询。Oracle:select * from t1 where length(c1) != lengthb(c1);SQL Server:select * from t1 where len(unicode(c1)) 这个问题深究起来涉...

2016-12-29 13:07:26 3308 0

原创 建立标准数据对照表

这是一个真实数据仓库项目中的案例。某公司要建立一个员工数据仓库,需要从多个业务系统集成员工相关的信息。由于历史的原因,该公司现存的四个业务系统中都包含员工数据,这四个业务系统是HR、OA、考勤和绩效考核系统。这些系统是彼此独立的,有些是采购的商业软件,有些是公司自己开发的。每个系统中都有员工和组织...

2016-12-29 13:05:23 1442 0

原创 去除重复数据

有两个意义上的重复记录,一是完全重复的记录,也即所有字段均都重复,二是部分字段重复的记录。对于第一种重复,比较容易解决,只需在查询语句中使用distinct关键字去重,几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周,通过给表增加主键或唯一索引列即可避免。selec...

2016-12-29 13:02:24 721 0

原创 商业智能的基本概念

1. 商业智能是什么? 很难给商业智能做一个完整的定义,但是概括来说:商业智能是用来实现“数据->信息->知识->实际行动”之间转化的过程、技术和工具,它包括了数据仓库、数据分析工具和行为管理三个方面。2. 商业智能都能用来做什么? (1)客户关系管理(Customer Rela...

2016-12-29 11:33:38 1749 0

原创 数据仓库建模与数据库建模的比较

数据仓库应用系统的数据建模和一般的数据库建模有很大的不同,这是由于两者的技术目标完全不同。业务系统的目标是事务级的处理,基本操作是增加、删除、修改等记录级的操作,特点是事务量大,但是每一个事务所涉及的数据量小;而数据仓库需要从历史堆积下来的数据中获得有价值的信息,因此涉及的查询数据量大,而查询处理...

2016-12-29 11:29:01 1828 0

原创 ODS与数据仓库的区别

数据仓库是面向主题的、集成的、随时间变化的、非易失的、用于进行战略型决策的数据集合。    ODS是一个面向主题的、集成的、可变的、当前的细节数据集合,用于支持企业对于即时性的、操作性的、集成的全体信息的需求。常常被作为数据仓库的过渡,也是数据仓库项目的可选项之一。 操作型数据存储(Operati...

2016-12-29 11:12:52 1444 0

原创 BI 领先的厂商

数据仓库—报表工具—Hyperion Enterprise数据仓库—报表工具—BO Crystal Reports数据仓库—报表工具—Brio Performance Suite数据仓库—报表工具—MicroStrategy数据仓库—报表工具—Congos数据仓库—报表工具—Microsoft S...

2016-12-29 10:56:55 911 0

原创 数据质量的六大评估标准(书摘备查)

准确性:哪些数据不能正确的描述对象的属性或已经过期? 合规性:哪些数据是以非标准格式存储的? 一致性:哪些数据值提供了冲突信息? 重复性:哪些数据记录是重复的记录? 及时性:关键数据是否及时传送到目标应用? 完备性:哪些数据根本就不存在?

2016-12-29 10:54:54 9587 1

原创 开发数据仓库模型的方法学(书摘备查)

开发数据仓库模型的方法学包含两组八个步骤,前四个步骤着眼于确保数据仓库模型满足业务需求,后四个步骤则集中考虑了影响数据仓库性能的折中因素。 步骤动   作目   标描   述1选择感兴趣的数据决定包含范围,减少载入时间,减少存储需求决定在模型中要包含的数据元素和考虑存档其他将来可能使用的数据2在键...

2016-12-29 10:46:59 679 0

原创 数据仓库与传统数据库的比较

比较内容数据仓库的特征常规事务处理数据库目标OLAP联机分析处理OLTP联机事务处理作用面向主题面向过程活动特征分析式事务处理构成集成不同的、分散的内容不更改性更改的时间性时序性、历史性当前的基础结构多维型关系型关系结构星型/雪花型结构或混杂型结构3NF 三级范式终端用户多为管理人员和决策者多为专...

2016-12-29 10:45:33 1657 0

转载 Oracle ROLLUP和CUBE 用法

Oracle的GROUP BY语句除了最基本的语法外,还支持ROLLUP和CUBE语句。如果是ROLLUP(A, B, C)的话,首先会对(A、B、C)进行GROUP BY,然后对(A、B)进行GROUP BY,然后是(A)进行GROUP BY,最后对全表进行GROUP BY操作。如果是GROUP...

2016-12-29 10:42:14 831 0

转载 在ORACLE中使用DOM方式解析XML

XML格式:                     Montgomery Burns                     Release the Hounds! 解析代码CREATE OR REPLACE FUNCTION idAttributeOfDocElement(xmldoc VAR...

2016-12-29 10:38:38 5209 0

原创 Oracle由SQL查询生成XML

CREATE OR REPLACE PROCEDURE TEST.put_query_xml (   q_string   IN       VARCHAR2,   RESULT     OUT      CLOB)IS   qryctx   DBMS_XMLGEN.ctxhandle;BEGIN...

2016-12-29 10:35:45 2855 0

原创 Oracle 中 table 函数的应用

表函数可接受查询语句或游标作为输入参数,并可输出多行数据。该函数可以平行执行,并可持续输出数据流,被称作管道式输出。应用表函数可将数据转换分阶段处理,并省去中间结果的存储和缓冲表。 1. 用游标传递数据利用游标 REF CURSOR 可将数据集(多行记录)传递到PL/SQL函数:SELECT * ...

2016-12-29 10:25:47 501 0

转载 How to Estimate Export File Size Without Creating Dump File

PURPOSE------- Estimate file size of export dumpfile without creating the actual dump file. How to estimate export dumpfile size using pipe, /dev/nul...

2016-12-29 10:16:37 365 0

转载 How To Load CLOB Data from a File into a CLOB column using PL/SQL

主题:How To Load CLOB Data from a File into a CLOB column using PL/SQL 文档 ID:437432.1类型:HOWTO Modified Date:02-OCT-2007状态:MODERATEDIn this Document  Go...

2016-12-29 10:14:08 586 0

原创 Inlist的绑定优化(书摘备查)

-- 建立类型CREATE OR REPLACE TYPE numtabletype AS TABLE OF NUMBER;CREATE OR REPLACE TYPE vartabletype AS TABLE OF VARCHAR2 (1000); -- 解析字符串CREATE OR REPL...

2016-12-29 10:05:41 530 0

原创 Oracle通过HSODBC访问mysql

一、环境OS:Linux myhostname 2.6.9-42.ELsmp #1 SMP Sat Aug 12 09:39:11 CDT 2006 i686 i686 i386 GNU/Linux      CentOS release 4.4 (Final)Oracle:Oracle Data...

2016-12-29 09:45:20 1748 0

原创 从一个用户expdp导出再impdp导入到另一个用户

如果想导入的用户已经存在:1. 导出用户 expdp user1/pass1 directory=dumpdir dumpfile=user1.dmp2. 导入用户 impdp user2/pass2 directory=dumpdir dumpfile=user1.dmp REMAP_SCHEM...

2016-12-29 09:43:36 20237 2

原创 MySQL实现树的遍历

经常在一个表中有父子关系的两个字段,比如empno与manager,这种结构中需要用到树的遍历。在Oracle 中可以使用connect by简单解决问题,参见http://blog.csdn.net/wzy0623/archive/2007/06/18/1656345.aspx,但MySQL 5...

2016-12-29 09:42:13 1996 0

提示
确定要删除当前文章?
取消 删除