I don't know
80197675 · 共 78 篇文章
Hive学习系列(二)Hive的查询流程详解
此文为翻译的文档,英文连接为 https://cwiki.apache.org/confluence/display/Hive/Design#Design-HiveArchitecture Hive 查询流程图如下 图中可以看出查询主要组件包含 UI(user interface) –用户提交查询或者其他操作,现在标准UI有CLI(command line interface),Thrift Serve,Hive web interface(HWI)。 Driver(驱动) –负责接收查询及其他操作,Driver 实现了会话句柄的概念,并提供在基于JDBC / ODBC的execute和fe…
2016-11-18T11:25:00Z · 互联网 · 评论(0)
Hive学习系列(一)什么是Hive及Hive的架构
最近一直在忙面试的事情,面试过程中碰到几家公司都问到了Hive,但是由于最近三年一直在忙海外数据仓库的事情,对于大数据的只限于了解,未有实际的使用,为了更好的面试,特总结了下Hive的相关知识 (1)什么是Hive 1.1 Hive是Hadoop工具家族中一个重要成员,可以将结构化的数据文件(HDFS)映射为一张数据库表。 1.2 Hive 定义了简单的类 SQL 查询语言,被称为 HQL,实现方便高效的数据查询 1.3 Hive的本质是将HQL,转换成MapReduce任务,完成整个的数据的ETL,减少编写MapReduce的复杂度 (2)Hive的体系结构 Hive架构包括如下组件:CL…
2016-11-15T18:07:30Z · 互联网 · 评论(0)
漫谈海外N多事(2)漫谈产品化,标准化,工业化
产品化,标准化,工业化,这个是比较沉重的话题,也是我们国产软件走出国门,走上世界的一个痛点。我没有参与到商务谈判,也没有参与当时整个数据仓库的选型,这个可能是我的遗憾吧,据说当时选型的时候,客户直接要求从IBM,Teradata两大厂家中选择,大家都知道,这个两大厂商是现在国际上做数据仓库解决方案最好的两家,也是产品化,标准化,工业化最好的两个厂家,这个不是吹他们两家,他们对于整个数据仓库构建,提供了一体化解决方案,包含从调度,ETL,一体机,DWM模型,报表,挖掘都有一系列的工具及方法论支持,但是价格也死贵死贵的。由于项目的原因,我这里只能从网上找类似的图说明下,IBM与Teradata的…
2016-07-07T16:59:17Z · 行业应用 · 评论(0)
漫谈海外N多事(1)漫谈团队管理
有段句话说的对:管理既是一门科学,又是一门艺术,管理的科学性在于管理作为一个活动过程,其间存在着一些列基本客观规律,有一套分析问题、解决问题的科学方法论,并在实践中得到不断地验证和丰富,可复制和学习,并可指导人们视线有效的管理.管理的艺术性就是强调其实践性和创新性.要有效地实现管理,管理者比需要管理实践中发挥积极性、主动性和创造性,因地制宜地将管理知识与具体管理活动相结合.管理既是一门科学,又是一门艺术,是科学与艺术的有机结合体.管理的科学性是管理艺术性的前提与基础,管理的艺术性是管理科学性的补充与提高,有成效的管理艺术是以管理者对它所依据的管理理论的理解为基础,出色的管理者必须通过大量的实…
2016-06-19T12:57:53Z · 行业应用 · 评论(0)
漫谈海外N多事
为啥想起这个话题呢,这个主要是在海外数据仓库(EDW)项目有机会接触到一些国际同行 (1)IBM模型设计师 (2)海外对端项目经理 (3)海外架构/技术顾问 (4)海外业务咨询顾问 (5)Teradata模型设计师 (6)海外测试经理 (7)海外业务客户 等等 在整个项目的实施过程,思想和理念一次次碰撞,外国人的做事方式和做事态度,产品化,标准化给我带来比较大的震撼,也让我看到我们和外国同行的差异。 接下来我会写从以下方面写下我这次海外项目的方方面面 (1)漫谈团队管理 (2)漫谈产品化,标准化 (3)漫谈对于做事的方式 (4)漫谈对于做事的态度 (5)漫谈架构那点事 (6)漫谈业务那点事 …
2016-06-18T23:23:34Z · 行业应用 · 评论(0)
最近在读的书--20160617
《STAR SCHEMA完全参考手册:数据仓库维度设计权威指南》 《Hadoop- The Definitive Guide, 4th Edition》 《数据挖掘导论》
2016-06-17T13:38:14Z · 非技术 · 评论(0)
数据仓库事实表分类
1)在数据仓库领域有一个概念叫Transaction fact table,中文一般翻译为“事务事实表”。 事务事实表是维度建模的数据仓库中三种基本类型事实表中的一种,另外两种分别是周期快照事实表和累积快照事实表。 事务事实表与周期快照事实表、累积快照事实表使用相同的一致性维度,但是它们在描述业务事实方面是有着非常大的差异的。 **事务事实表记录的事务层面的事实,保存的是最原子的数据,也称“原子事实表”。**事务事实表中的数据在事务事件发生后产生,数据的粒度通常是每个事务一条记录。一旦事务被提交,事实表数据被插入,数据就不再进行更改,其更新方式为增量更新。 事务事实表的日期维度记录的是事务发…
2016-06-17T11:47:07Z · 行业应用 · 评论(0)
数据仓库结构及特点
数据仓库之父的W.H.Inmon将数据仓库定义为:“数据仓库是一个面向主题的、集成的、相对稳定的和随时间的数据集合,用于支持管理决策和商务智能。”数据仓库技术,简单的说,就是将企业内外部的数据进行全面的集成、清洗和整理,去除一些纯事务性的数据,将企业数据按主题放置到一个“仓库”中,然后在次基础上建立各种决策支持的数据为企业服务。基本结构如图1所示: 对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再…
2016-06-16T20:31:10Z · 行业应用 · 评论(0)
多维数据分析方法
多维分析可以对以多维形式组织起来的数据进行上卷、下钻、切片、切块、旋转等各种分析操作,以便剖析数据,使分析者、决策者能从多个角度、多个侧面观察 数据库 中的数据,从而深入了解包含在数据中的信息和内涵。多维分析方式适合人的思维模式,减少了混淆,并降低了出现错误解释的可能性。 多维数据分析通常包括以下几种分析方法。 1.切片 在给定的数据立方体的一个维上进行的选择操作就是切片(slice),切片的结果是得到一个二维的平面数据。例如,在例2-1中对图2-1所示数据立方体分别使用条件:“委托方式=现场”、“营业部编号=02”、“时间=2011-01”进行选择,就相当于在原来的立方体中切片,结果分别如…
2016-06-14T10:38:03Z · 行业应用 · 评论(0)
移动通讯行业客户流失预警研究
客户流失问题是现在通讯行业比较关注的一个问题,也是在电信行业中挖掘中最基本的案例,在我做的EDW海外项目中,在挖掘部分就有该部分,但是我们的做的那部分的复杂度要大于我转载的文章,对于学习来说,转载的这篇更具有学习的模板性。 这篇文章简单构建一个综合的客户流失预警体系,能够快速、高效并且运用较低的成本去识别高风险流失客户预警模型(由于版权的问题,只能链接转载,不能直接copy,所以请大家移步)。 移动通讯行业客户流失预警研究
2016-06-12T21:41:54Z · 行业应用 · 评论(0)
[转]MOLAP, ROLAP,And HOLAP
In the OLAP world, there are mainly two different types: Multidimensional OLAP (MOLAP) and Relational OLAP (ROLAP). Hybrid OLAP (HOLAP) refers to technologies that combine MOLAP and ROLAP. MOLAP This is the more traditional way of OLAP analysis. In MOLAP, data is stored in a multidimensional cube. …
2016-06-12T14:18:39Z · 行业应用 · 评论(0)
[转]谈谈数据仓库架构的发展和分类
挺好的一篇文章,直接转过来了 Jerome 20061210 最近大家对数据仓库 架构 的讨论又多了起来,我在这里对一些架构进行一下简单的整理。目的是给大家树立一个靶子,大家可以在这篇文章后尽情的批判和补充。 我把我听说过的架构都归整在一起,分了 六类 ,其中和很多说明是我个人的理解,不见得正确,大家多多指导。 1.独立的数据集市架构(Independent data mart architecture) 独立的数据集市架构有时也称为独立的数据仓库架构,应该是出现最早的架构方式,也是很常见的方式。特别是对于中小企业、中小开发公司,出于成本和见效快的考虑都会采用这种架构方式。大家对这种架构方式…
2016-06-12T13:58:11Z · 行业应用 · 评论(0)
每天花点时间整理写东西,写blog
自从去年调整部门到海外事业部。 (1)是由于工作岗位的调整,由BSS业务研发调整到BI研发部门 (2)这次海外项目客户要求比较严格,指定了ETL,存储,报表等工具都已经指定厂家(全是IBM)。 (3)我没有参与技术方面的攻坚,而是把我调整到模型组。 (4)为了配合IBM模型设计,花了大量的时候理解IBM的模型(英语不是太好,有的时候和IBM工程师沟通费劲)及我们BSS的原始模型 基于以上原因,我一直没有更新blog.今天是没有时间偶尔想起了我的blog,所以登陆下,看了一下我自己写的blog。坐着想了想,还是的把blog写下去,写的内容包含 (1)原来技术的积累 (2)BI的一些看法 (3)…
2014-11-12T16:29:41Z · 非技术 · 评论(0)