数据中台的发展历程

时间:

2021-12-22

分享到:

数据中台的发展历程

随着信息技术的不断变革,世界已跨入互联网+大数据的新时代。大数据深刻影响着人们的思维、生产和生活方式。数据中台的发展历程秉承将“数据业务化”的信念,为大数据进一步落地奠定了基础。


数据仓库一词于1991年由比尔·恩门给出了准确的定义,数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的,不可修改的数据集合,旨在将数据转化为有用的信息,帮助企业制定经营分析战略。


在互联网时代初期,传统数据仓库已难以储存和计算规模大增的数据,Hadoop的出现缓解了数据扩增的难题。Hadoop将数据部署到一个大规模服务器集群,并利用所有服务器进行数据计算。该技术能扩大数据储存的能力,弱化数据分布格式,满足对异构多源化数据灵活分析的需求。


在新时代海量数据的带动下,Hadoop的数据处理架构因研发繁琐、效率低下等问题逐步被大数据平台取缔。大数据平台是面向数据研发场景的数据研发全链路的工作平台,可帮助数据流水线化快速加工。其主要架构包括数据源、数据集成、数据存储、数据处理、数据再存储、数据导出及数据展示。大数据平台能统一数据计算、降低使用门槛、减少机器运维成本并提升其利用率。


伴随着DT时代的来临,数据中台的出现在企业传统烟囱式IT建设方式下脱颖而出。数据中台指依据企业的自身业务模式与组织架构,通过产品构建把数据变成资产并服务于业务的平台。数据中台是在数据仓库与大数据平台基础上,为企业提供各种数据API服务,其节约应用成本、增强数据质量、完善各部门协作机制并加速企业从数据到业务价值的实现。