数据中台在实际业务场景如何应用

标签: #无关联标签#
作者: 管理员  

2024-01-24 10:30 阅读量(80)

科技飞速发展的时代,企业信息化建设会越来越完善,越来越体系化,当今数据时代背景下更加强调、重视数据的价值,以数据说话,通过数据为企业提升渠道转化率、改善企业产品、实现精准运营,为企业打造自助模式的数据分析成果,以数据驱动决策。

在实际项目中,数据中台通过提供统一的数据规范、提高数据质量、发掘数据价值、提升业务效率、优化资源配置以及创新业务模式等方式,可以为企业创造显著的价值。

整体介绍

数据中台分为三个模块,数据分析平台(DAP)、主数据治理平台(MDM)、数据集成平台(ESB),数据中台的部署环境采用K8S云平台部署,MDM实现基础数据管理,业务数据由源头业务系统提供,通过ESB的数据集成,实现基础数据、业务数据从源头系统到数仓的同步。

产品方案

数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案,主要实现基于数据治理分析的中台建设,通过MDM将企业内部的基础数据标准化、规范化、整合化后,由DAP进行数仓建设以及最终数据分析的可视化展现,ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚。


集成架构

介绍一下DAP的数据中台方案集成框架:


数据中台方案主要的产品组合是DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障分析数据的准确性,然后通过Portal门户集成平台展现给客户。

中台介绍

数据中台主要实现各个业务系统数据的有效整合,数据中台把数据统一之后,会形成标准数据,再进行存储,形成数据资产层,进而为客户提供高效服务,支持数据的存储、计算、产品化包装过程,为前台基于数据的定制化创新及为业务中台基于数据反馈的持续演进提供强大支撑,改善企业内部数据和应用程序之间的连接和协同,降低成本并提高使用速度,实现企业业务集成和数据集成,让集成更敏捷、让客户使用更便捷。


场景介绍

数据中台主要是打通企业的数据环节,实现全生命周期的数据管理,通过数据中台建设数据管理体系,实现各个业务系统数据的有效整合,通过基础数据治理保证底层基础数据的一致性,基于业务指标进行前端的动态展现,结合数据指标的多维度穿透,实现以不同形式、不同维度的分析展现。

数据治理

数据治理分为主数据治理和业务数据治理,主数据治理是通过MDM基础数据管理平台进行主数据的治理,帮助企业各个系统制定主数据标准,保障各个业务系统的主数据准确性、一致性和完整性。

业务数据治理是对企业业务指标数据进行一次梳理,通过DAP数据分析平台进行采集、清洗转换、汇总加工后在过程中进行业务数据治理,保障数据的完整性和准确性,为企业发展提供战略支撑,为后续信息化建设奠定数据基础。


数据中心

数据中心就是通过MDM基础数据管理平台和DAP数据分析平台治理好的数据建立数据仓库,形成数据中性,可以通过数据服务功能对外提供数据,各个业务系统就可以使用这些治理好的数据进行业务操作,这样才能保障系统之间数据联动起来。


数据应用

数据是通过算法服务和标签画像的形式对外提供有效的数据,通过算法模型机器学习,帮助企业实现智能化转型并提高运营效率,通过标签画像可以查询任何角度业务指标数据,通过展现配置支持大屏、PC、移动端的展现,也可以通过数据服务与其他的BI产品结合进行不同行业的可视化展现、还可以提供给门户平台进行数据门户的创建。


数据治理

为了凸显数据中台的价值,需对数据中台的数据进行综合治理,构建标准化、流程化、规范化、一体化的数据治理体系,有效数据治理可以确保企业数据全面一致可信,从而全面提升数据中台数据资产的价值。

功能说明

数据治理分为基础数据治理和业务数据治理,基础数据治理是通过MDM基础数据管理平台进行数据的清洗、管理、审批等操作帮助基础数据一致性、完整性、准确性。

业务数据治理主要是从ODS到数仓(维度表、基础事实)过程中进行质量检测,帮助业务数据的完整性,这样在进行汇总计算的时候才能帮助数据准确性,从而建立数仓模型。

价值体现

主数据治理:主数据治理功能价值主要体现的是主数据全生命周期管理,通过数据清洗、数据初始化导入、数据同步、数据管理、数据审批、数据分发进行主数据治理,使各个业务系统数据一致性、完整性、准确性。

数据清洗:通过数据清洗功能把业务系统的基础数据导入到MDM中进行校验清洗,清洗后再导入到主数据真实表中。


数据巡检功能:已存在的数据通过数据巡检功能进行重复数据筛选。


数据管理可以进行主数据申请、修改、启用、禁用、生成任务等功能。


通过生成任务,把治理好的数据分给各个业务系统。


业务数据治理:业务数据治理是通过从ODS到数仓(维度表、基础事实)过程中进行数据清洗转换工作。

治理主要步骤如下:

配置校验规则:配置正则表达式校验规则。


事实表或者维度表字段配置关联校验规则。


调度流程进行数据清洗校验。


生成对应质量日志。


生成调度日志。


重要事项

1.主数据数据清洗不同的主数据有不同模板Excel,下载后需要另存为Excel格式,再进行数据导入清洗。

2.主数据数据清洗需要先清洗源头数据,因为只有源头清洗,后续下发才能保障数据的一致性。

3.数据分发时候可以根据不同的分发权限下发不同的业务系统,帮助数据的安全性。

数据中心

数据中心是通过上述的数据治理后创建数据仓库,然后创建数仓模型,通过模型构建分析模型,从而形成数据中心。

功能说明

主数据治理后可以同步到维度表中,做为指标的维度信息,也可以通过API服务分发给各个业务系统,DAP数据分析平台通过维度表、基础事实表、汇总事实表创建数据模型,通过数据模型创建分析模型(数据集、立方体、指标集),通过数据集、立方体、指标集可以创建对应的数据服务,从而对外提供标准的业务指标数据。

价值体现

业务之间的数据联动是企业各层级统一存在的需求,只有从最基础的数据开始,打好底层基础,之后到系统之间的信息功能整合,屏蔽边界,最后实现整体业务流程的联动,才能避免信息孤岛的产生,真正实现企业内部信息的互联互通。

主数据提供API服务接口:


数据分析平台提供不同的数据服务:

查询服务:查询服务通过数据集对外发布数据。


统计服务:统计服务是通过立方体对外发布数据。


指标服务:指标服务是通过上述指标集发布的指标实例创建服务。


业务服务:业务服务可以通过选择数据集和立方体来构建业务系统需要的出参数据。


重要事项

1.主数据服务都要通过token机制才能获取到不同主数据的数据,保障数据的安全性。

2.数据分析平台数据集、立方体发布后才能生成对应的数据服务。

3.业务服务的来源是数据集、立方体、指标集,通过业务来对外提供不同格式的数据。

数据应用

数据中台建设是一个综合性的系统工程,数据中台的本质是支撑快速孵化数据应用,用技术连接数据计算储存能力,用业务连接数据应用场景能力的平台。

功能说明

数据中台可以通过分析模型和算法模型对数据进行深入挖掘和分析,发现数据的潜在价值和规律,为企业的决策和业务优化提供支持。通过指标集和不同图表来展示企业不同业务运行情况,还可以通过设备采集出不同指标,通过数据分析平台进行展示生产制造情况,也可以根据上述的数据服务于其他的BI系统结合进行分析展现,也可以给门户平台提供数据服务形成数据门户。

价值体现

数据和数据之间天然存在着显性和隐性的关系,数据的极致魅力在于通过这些关系识别和挖掘,创造前所未有的应用场景,带来意想不到的巨大价值。

通过指标展现不同业务运行情况,比如通过设备采集出不同指标数据进行监控生产情况。


通过算法进行预测业务未来趋势。


重要展示

1.算法模型数据一定是要大量的数据,并且特征值越多数据预测的越准确。

2.通过DAP移动分析可以让客户随时随地进行查看企业业务运行情况。

3.通过DAP+ESB结合来实现生产制造行业的设备采集工作,平台中获取生产指标数据进行可视化展现。

心得总结

无论是现在的互联网企业,还是传统型企业,都需要进行数据分析,数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来,从而找出所研究对象的内在规律。

过程总结

数据中台可以对数据进行统一的规范和管理,确保数据的准确性和一致性,从而减少因数据不一致导致的业务问题和决策失误,通过数据中台的数据清洗和整合过程,可以提高数据的质量和可信度,使数据更加可靠、完整和准确。

数据中台可以通过分析模型和算法对数据进行深入挖掘和分析,发现数据的潜在价值和规律,为企业的决策和业务优化提供支持,通过对数据的全面分析和挖掘,帮助企业更好地了解客户需求、市场趋势和竞争状况,从而优化资源配置,提高企业的竞争力和盈利能力。

重要事项

企业如何做好数据中台项目,就要满足以下几点步骤:

1. 首先领导层一定要重视,要想做好必须要从管理和制度上下功夫,要有改革的决心。

2. 业务部门要主导参与,业务部门提供需求,信息部门协助实现,因为只有业务部门才能了解他们企业自身的业务。

3.通过DAP数据分析平台构建数据中心,将企业内部各个部门的数据进行整合,并进行清洗、汇总处理,通过治理好的数据构建数据仓。

4.治理好的数据进行分析模型构建,根据业务需求,构建相应的分析模型,这些模型可以是统计模型、机器学习模型等,用于挖掘数据的价值,通过将预测结果通过可视化图表进行展示。

5.通过数据服务与业务系统进行数据联动,使标准、准确的数据可以流动起来,提供数据的应用性。

说在最后

综上所述打造独属于企业的大数据分析平台,需企业从上到下共同完成,通过数通的DAP数据分析平台构建数据中心,整合企业数据、通过治理构建分析模型,通过数据服务与业务系统进行数据联动,充分利用数据资源,提升竞争力,通过算法模型帮助企业实现智能化转型并提高运营效率。

数据中台不仅可以支持企业的现有业务,还能够帮助企业探索和创新业务模式。通过对数据的深入分析和挖掘,可以发现新的市场机会和业务增长点,为企业的未来发展提供支持。


返回顶部