洪荒之力已无,追求之心尚在


一、致谢

        我的第一本习作《Hadoop构建数据仓库实践》出版了。感谢CSDN博客提供的技术学习平台,能让我把自己平时积累的技术心得加以总结,形成一篇篇博文与人分享。正因如此才有了将博文整理成书的机会。

二、写书动因

        技术的发展实在太快了。就拿数据仓库来说,从Bill Inmon在1991年提出数据仓库的概念至今已有将近三十年的时间。在这期间人们所面对的数据,以及处理数据的方法都发生了翻天覆地的变化。最初的数据量不是很大,即便是一个大规模企业级数据仓库(EDW),往往也都是集中式存储,并使用关系数据库系统本身的集群予以支撑。然而随着互联网和移动终端应用的普及,运行在单机或小型集群上的传统数据仓库不再能满足处理需求。首先是数据量呈爆炸式增长,现在PB级的数据已经很普遍。其次是数据结构的多样性,关系数据库很适合处理结构化数据,但处理非结构化的数据往往能力不足。最后是扩展问题,由于关系数据库技术关注的重点是数据的一致性与完整性,从理论上就是难于横向扩展的,因此可扩展性成为传统数据仓库难以跨越的一道鸿沟。
        为了解决这些问题,以Hadoop及其生态圈组件为代表的的新一代分布式大数据处理平台逐渐流行。尤其是近些年,围绕大数据这个主题开展的讨论几乎完全压倒了传统数据仓库的风头。某些大数据狂热者甚至大胆预测,在不久的将来,所有企业数据都将由一个基于Hadoop的系统托管,企业数据仓库终将消亡。
        但实际情况怎样呢?一方面企业级数据仓库中已经积累了大量的数据和应用程序,它们仍然在决策支持领域发挥着至关重要的作用。另一方面,传统数据仓库本身的架构也在不断发展,这一点不容置疑。从关系数据库到多维技术,再到Data Vault的演化就是最好的例证。并且在其不断发展过程中,从业人员的技术水平和经验也随之逐步提升。如何才能使积淀的大量历史数据平滑过渡到Hadoop上,让熟悉传统数据仓库的技术人员能够有效利用已有的知识,也可以在大数据处理平台上一展身手,这才是一个亟待解决的问题。
        实际上,尽管所有人都在讨论某种技术或者架构可能会胜过另一种,但我更倾向于IBM的观点,从“Hadoop与数据仓库密切结合”这个角度来探讨问题,两者可以说是天作之合。一年来,我一直在撰写相关的文章和博客,并在利用Hadoop平台开发传统数据仓库方面做了一些基础的技术实践,所写的这本书,就是对所有这些工作的系统归纳与总结。书中通过简单而完整的示例,论述了在Hadoop平台上设计和实现数据仓库的方法,旨在将传统数据仓库建模与SQL开发的简单性与大数据技术相结合,快速、高效地建立可扩展的数据仓库及其应用系统。 

三、计划与后续

        从今年春节上班后,按原计划系统研究了HAWQ。下一步准备再写一本关于HAWQ构建数据仓库的书。没有完美的解决方案,HAWQ的虽然在性能上是我用过的SQL-on-Hadoop中最快的,但使用中也有些不尽人意的地方。例如:缺少行级更新(Hive有,但实现很烂)、不支持外部分区表(Hive有)、不支持索引(Hive有)、缺少Postgresql原生支持的递归查询(with recursive)和第三方扩展tablefunc等等。庆幸的是,今天和偶数科技的常雷博士交流得知,行级更新、索引特性马上就会提供,其它的特性如果需求强烈也会考虑研发。希望能尽快提供HDFS外部分区表特性,毕竟此功能用的还是很广泛的。

        后面还想再学习一下tungsten-replicator和MADLib,这些都与HAWQ作为一个数据采集->ETL->OLAP->数据挖掘的完整解决方案密切相关的技术。


四、高龄IT技术人的一点思考

        从96年毕业工作至今已经21年,这期间也和大多数IT技术从业者一样,换过若干家公司。这些公司所属的行业与业务领域各不相同,但对于我自己来说,似乎都是干了一件事,研究与数据库相关的技术,并加以高效应用。从最初的FoxPro,Informix,到Oracle、SQLserver,再到后来的MySQL,一直到近两年SQL-on-Hadoop的各种解决方案,无不经历了一个“从入门到精通”的艰苦又充满乐趣的学习过程。而当我把一门技术用到得心应手的程度时,内心是惬意的。
        这么多年的工作中,每当我设计并实现了一个适当的数据库解决方案、让一个难缠SQL的执行时间从数分钟缩短到几秒钟、让一个瘫痪的数据库系统起死回生,此时客户的认可、同事的称许、老板的信任,所有这些带来的满足感是无以替代的。我在工作中听到了最好的褒奖就是“这事给你做我放心”,直到今天,我也坚定地认为这是一名IT技术人员价值的最直接体现。
        然而,随着年龄的增大,逐渐感觉到精力与体力都大不如前。现在熬一个通宵,甚至要花一周时间调节。越来越多的时候,精力不能高度集中,开发速度与反应也没有以前快。我想表达的是,在生老病死的自然规律面前,无人可逃,没什么值得大惊小怪的,重要的是怎样做。要时刻保持求知欲与好奇心,持之以恒地学习实践,跟上技术发展的步伐。做技术的就该这样。适当保持一定的压力,不要强求,也不要太过安逸。四十多岁还没到安度晚年的阶段,否则就像任正非所说:“刚四十就想躺在床上数钱,想什么呢”,也就别怪人家研发40岁一刀切。只要保持良好的心态并勤于学习实践,哪怕就是被切了也不怕。
        洪荒之力已无,追求之心尚在!以此标记我出第一本书的心境,并与高龄IT技术人共勉。
展开阅读全文

Git 实用技巧

11-24
这几年越来越多的开发团队使用了Git,掌握Git的使用已经越来越重要,已经是一个开发者必备的一项技能;但很多人在刚开始学习Git的时候会遇到很多疑问,比如之前使用过SVN的开发者想不通Git提交代码为什么需要先commit然后再去push,而不是一条命令一次性搞定; 更多的开发者对Git已经入门,不过在遇到一些代码冲突、需要恢复Git代码时候就不知所措,这个时候哪些对 Git掌握得比较好的少数人,就像团队中的神一样,在队友遇到 Git 相关的问题的时候用各种流利的操作来帮助队友于水火。 我去年刚加入新团队,发现一些同事对Git的常规操作没太大问题,但对Git的理解还是比较生疏,比如说分支和分支之间的关联关系、合并代码时候的冲突解决、提交代码前未拉取新代码导致冲突问题的处理等,我在协助处理这些问题的时候也记录各种问题的解决办法,希望整理后通过教程帮助到更多对Git操作进阶的开发者。 本期教程学习方法分为“掌握基础——稳步进阶——熟悉协作”三个层次。从掌握基础的 Git的推送和拉取开始,以案例进行演示,分析每一个步骤的操作方式和原理,从理解Git 工具的操作到学会代码存储结构、演示不同场景下Git遇到问题的不同处理方案。循序渐进让同学们掌握Git工具在团队协作中的整体协作流程。 在教程中会通过大量案例进行分析,案例会模拟在工作中遇到的问题,从最基础的代码提交和拉取、代码冲突解决、代码仓库的数据维护、Git服务端搭建等。为了让同学们容易理解,对Git简单易懂,文章中详细记录了详细的操作步骤,提供大量演示截图和解析。在教程的最后部分,会从提升团队整体效率的角度对Git工具进行讲解,包括规范操作、Gitlab的搭建、钩子事件的应用等。 为了让同学们可以利用碎片化时间来灵活学习,在教程文章中大程度降低了上下文的依赖,让大家可以在工作之余进行学习与实战,并同时掌握里面涉及的Git不常见操作的相关知识,理解Git工具在工作遇到的问题解决思路和方法,相信一定会对大家的前端技能进阶大有帮助。

实用主义学Python(小白也容易上手的Python实用案例)

12-24
原价169,限时立减100元! 系统掌握Python核语法16点,轻松应对工作中80%以上的Python使用场景! 69元=72讲+源码+社群答疑+讲师社群分享会  【哪些人适合学习这门课程?】 1)大学生,平时只学习了Python理论,并未接触Python实战问题; 2)对Python实用技能掌握薄弱的人,自动化、爬虫、数据分析能让你快速提高工作效率; 3)想学习新技术,如:人工智能、机器学习、深度学习等,这门课程是你的必修课程; 4)想修炼更好的编程内功,优秀的工程师肯定不能只会一门语言,Python语言功能强大、使用高效、简单易学。 【超实用技能】 从零开始 自动生成工作周报 职场升级 豆瓣电影数据爬取 实用案例 奥运冠军数据分析 自动化办公:通过Python自动化分析Excel数据并自动操作Word文档,最终获得一份基于Excel表格的数据分析报告。 豆瓣电影爬虫:通过Python自动爬取豆瓣电影信息并将电影图片保存到本地。 奥运会数据分析实战 简介:通过Python分析120年间奥运会的数据,从不同角度入手分析,从而得出一些有趣的结论。 【超人气老师】 二两 中国人工智能协会高级会员 生成对抗神经网络研究者 《深入浅出生成对抗网络:原理剖析与TensorFlow实现》一书作者 阿里云大学云学院导师 前大型游戏公司后端工程师 【超丰富实用案例】 0)图片背景去除案例 1)自动生成工作周报案例 2)豆瓣电影数据爬取案例 3)奥运会数据分析案例 4)自动处理邮件案例 5)github信息爬取/更新提醒案例 6)B站百大UP信息爬取与分析案例 7)构建自己的论文网站案例
©️2020 CSDN 皮肤主题: 深蓝海洋 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值