编辑导语:自从数据中台提出以后,各行各业都开始推出关于中台的应用和落实;数据中台的核心价值是什么?所有公司都适合做数据中台吗?本文作者详细分析了大数据下的数据中台。
“数据中台”是进今年比较火的一个词,正在做数字化转型的传统型公司都会首选做数据中天项目,建设数据中台嫣然成为传统企业数字转型的首选。
但为什么要做中台、好处是什么、能给企业带来什么价值、是不是所有公司都适合做数据中台,这是随之而来的问题。
一、大数据发展的历史
上个世纪90年代开始出现数据仓库概念,他帮助企业做出经营分析决策,例如在销售行业的门店管理中,如何使单个门店的利益最大化,就需要分析每个商品的销售、库存数据,按照不同的时间周期:每日、每周、每月,找到商品销售规律以及关联影响,然后制定出合理的商品采购计划和促销活动,这些都是依赖与大量的数据分析。
比尔.恩门给出的数据仓库定义:数据仓库是在企业管理和决策中面向主题的集成的、与时间相关的,不可修改的数据集合。
所以数据仓库是会按照主题去集成数据,你可以把主题理解成一个目录。主题是不会轻易改变,所以划分主题时要尽量做到与业务相关,且容易区分数据划分规则。
进入互联网时代后,数据规模前所未有的快速增长:
这些特点都是传统数据仓库所难以承载的。
所以hadoop出现了,他有两个优势:
随着hadoop技术成熟,出现了数据湖的概念,数据湖的出现我认为标志这hadoop是走向商业化成熟的标志,企业可以基于hadoop构建数据湖,将数据作为企业核心资产。
接下来如何让数据的加工能够像流水线一样作业,大数据平台的概念就被提出来了,就是为了提升研发的效率,降低数据研发的门槛,让数据像流水线一样被加工。
大数据平台服务的对象是数据研发人员,可分为数据集成、数据模型开发、数据测试、数据运维,底层是以HADOOP为代表的大数据框架,包含,存储、计算、资源调配(HDFS、MapReduce、yarn)。
大数据平台就像流水线设备,数据就是被加工的内容,最后产出指标,呈现在各BI或其他的数据产品中,随着经济、业务快速增长,业务人员也对数据采集响应要求变快,数据指标共享也逐渐变多,逐渐又出现了数据中台概念。
前面讲的都是数据发展历史,是为了让大家明白每一次演变的本质都是满足业务需求或者痛点。
数据中台也是一样的道理,先说下大部分企业数据的痛点:烟囱式的业务发展模式,导致数据也是烟囱式的发展,数据是割裂的,导致大量的重复开发、计算、从而导致研发效率的浪费、计算存储资源的浪费,大数据的应用成本也越来越高,比如本人所在公司每年投入的硬件资源都是过亿,同时这种带来的还有不同数据应用平台展示相同指标的结果会不一致。为了解决这些问题,数据中台的价值也就出来了。
数据中台最核心的价值:
最后可以看出,数据中台是构建数据湖之上,具备数据湖能够处理多样化结构的数据计算、存储能力;数据中台依赖于hadoop大数据平台,数据中台比大数据平台增加了数据治理和数据服务的内容;数据中台借鉴了传统数据数据仓库面向主题的数据建模理论,构建统一的数据共享层。
二、数据中台与业务数据相结合
数据中台价值的产生一定要是与业务数据应用场景相结合,举个案例:
保险行业的队伍管理的增员场景看,主管要促进自己的团队架构裂变就需要进行增员,在这个过程中主管需要分析哪些人适合增员,增员的成功通常需要满足哪些条件,每日还要对代理人的增员进行效果追踪。要做这些分析就要用到代理人的行为和业绩数据,同时还要有标杆案例数据,通常这些数据都存放在不同的数据库里面,并且要以日的频率提供数据到页面上进行展示。
传统数据处理逻辑:各业务系统对数据进行加工处理,然后将结果提供给报表平台进行展示,但这个会出现,A报表和B报表对于相同的指标可能指标结果不一致,并且各系统之间指标重复计算。
数据中台是把各业务系统的增员数据进行汇报,然后统一做数据清洗,加工建模,最后以API接口形式提供结果给应用系统在不同的页面进行展示。既避免了重复计算,也提升了开发效率,还提供数据共享,同时也保证了数据的一致性。
最后讲下数据资产化管理,可以分两块看:
从面向开发角度看:
文章来源:《大数据》 网址: http://www.dsjzz.cn/zonghexinwen/2020/0811/616.html