数据中台如何跟可视化工具结合
数据中台主要实现各个业务系统数据的有效整合,数据中台把数据统一之后,会形成标准数据,再进行存储,形成数据资产层。
可视化工具一共有两种方式,一种是就通过数据中台提供的API服务来提供数据进行可视化展现,一种是通过数据中台建立不同数据仓库对应的数据库,提供给不同的BI、可视化平台。
整体介绍
不同于一般的BI平台,DAP数据分析平台更侧重数据的聚合,平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合,从而实现企业业务数据的统一,构建企业统一的、标准的、完整的数据仓库,为数据展现、数据分析、数据报表,以及外部系统数据交互提供支持。
产品体系
首先介绍数通产品体系如下图:
数通的所有产品都是通过K8S云平台进行部署搭建产品环境,通过不同的产品组合方案来解决企业面临的不同信息化困境,帮助企业完善信息化发展。
DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性。
产品介绍
下图是产品介绍如下:
数据中台方案主要的产品组合是DAP数据分析平台通过与ESB应用集成平台结合,使用场景主要是通过配置调度任务,通过执行调度任务调用ESB数据同步流程,实现数据的采集、抽取、转换、传输、调度等操作,基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性,然后通过Portal门户集成平台展现给客户,Portal中数据门户可以通过数据中台的数据服务提供的数据进行展现
功能说明
数据中台能打通企业的数据环节,实现全生命周期的数据管理,通过数据中台建设数据管理体系,实现各个业务系统数据的有效整合,通过基础数据治理保证底层基础数据的一致性,基于数据分析平台进行业务数据治理后,创建数据中心对其他BI和可视化平台提供数据。
数据中台如何跟可视化工具结合的实现步骤是先进行数据治理,然后通过两种方式,一个是数仓建模创建不同的数据库来对可视化工具提供数据,第二个是通过数据服务API对外提供数据。
数据治理
数据治理是确保数据可视化效果的关键因素之一,它有助于提高数据的可靠性、安全性、一致性和可读性,从而更好地支持企业决策和业务运营。
场景说明
要想进行可视化展现首先要梳理业务系统数据,就需要进行数据治理,数据治理分为基础数据治理,这个是通过数据中台中MDM基础数据管理平台进行主数据治理,保障维度表的准确性和完整;还分为业务数据治理,通过数据分析平台进行企业业务数据治理。
功能说明
数据治理分为基础数据治理和业务数据治理,基础数据治理是通过MDM基础数据管理平台进行数据的清洗、管理、审批等操作帮助基础数据一致性、完整性、准确性。
数据清洗:通过数据清洗功能把业务系统的基础数据导入到MDM中进行校验清洗,清洗后再导入到主数据真实表中。
数据巡检功能:已存在的数据通过数据巡检功能进行重复数据筛选。
全部巡检:
在管理中进行数据巡检。
管理巡检:
审批巡检:
数据巡检页面可以查看到重复的数据:
业务数据治理主要是从ODS到数仓(维度表、基础事实)过程中进行质量检测,帮助业务数据的完整性,这样在进行汇总计算的时候才能帮助数据准确性,从而建立数仓模型。
配置校验规则:配置正则表达式校验规则。
调度流程进行通过ESB企业数据总线生成集成流程进行数据清洗和转换:
重要事项
1.主数据数据清洗不同的主数据有不同模板Excel,下载后需要另存为Excel格式,再进行数据导入清洗。
2.主数据数据清洗需要先清洗源头数据,因为只有源头清洗,后续下发才能保障数据的一致性。
3.数据分发时可以根据不同的分发权限下发不能的业务系统,帮助数据的安全性。
数仓建模
数据治理后就可以创建数据仓库,可以使用同一个数据库建立数据仓库,也可以使用多个数据库作为数据仓库的数据源。
场景说明
通过数据治理建立数据仓库,DAP数据分析平台支持多个数仓链接不同的数据库源,不同的数据库提供给不同的BI、可视化平台,数据中台作为数据中心维护这些数据。
功能说明
应用定义中定义不同BI、可视化平台:
数据源头中配置数据仓库链接,选择不同的BI、可视化平台:
在创建维度表和事实表时候选择不同数据库源。
维度表:
事实表:
重要事项
1.不同的数据仓库来源的ODS有可能是一个,因为ODS是按照来源系统区分的,所以创建事实表或者维度表时候可以选择同一个数据源。
2.创建数仓时候有可能有相同的数据表,但建议不同数据库都创建该数据表,这样避免跨库查询。
3.通过DAP+ESB结合来实现不同数据建立不同数据仓库,创建不同的数仓模型。
数据服务
数据经过治理之后,需要将数据分发给各个业务系统,通过反向集成进行业务集成,把治理后的数据推送给各个业务系统。
场景说明
另一种对外提供的就是BI和可视化平台支持调用服务来获取数据,就可以通过数据中台提供的数据服务来获取数据,这样就可以通过数据分析平台构建的不同分析模型来生成不同的数据服务,来支持不同的业务场景,满足不同的BI、可视化平台。
功能说明
主数据提供API服务接口:在主数据产品部署后会生成不同API接口。
下面是部署后生成API:
通过API管理来查看调用信息:
数据分析平台提供不同的数据服务:
查询服务:查询服务通过数据集对外发布数据。
统计服务:统计服务是通过立方体对外发布数据。
指标服务:指标服务是通过上述指标集发布的指标实例创建发服务。
业务服务:业务服务可以通过选择数据集和立方体来构建业务系统需要的出参数据。
重要事项
1.主数据服务都要通过token机制才能获取到不同主数据的数据,保障数据的安全性。
2.数据分析平台数据集、立方体发布后才能生成对应的数据服务。
3.业务服务的来源是数据集、立方体、指标集,通过业务来对外提供不同格式的数据。
心得总结
无论是现在的互联网企业,还是传统型企业,都需要数据分析,数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来,从而找出所研究对象的内在规律。
过程总结
数据中台是基于统一服务、统一主数据和数据分析为一体的数据解决方案,在有效解决企业数据治理分析难题的同时,也能帮助企业深度挖掘数据价值,从而实现系统数据的最大化利用。
通过数据中台治理后数据实现企业内部信息的互联互通,结合其他的BI、可视化产品进行可视化展现,更好地利用数据驱动决策,提升业务运营效率。
重要事项
1.通过DAP数据分析平台构建数据中心,将企业内部各个部门的数据进行整合,并进行清洗、汇总处理,通过治理好的数据构建数据仓。
2.治理好的数据进行分析模型构建,根据业务需求,构建相应的分析模型,这些模型可以是统计模型、机器学习模型等,用于挖掘数据的价值,预测结果通过可视化图表进行展示。
3.通过数据服务与业务系统进行数据联动,使标准、准确的数据可以流动起来,提供数据的应用性。
说在最后
通过数据中台,帮助企业能够更快地获取和理解数据,从而加速决策过程,有助于发现潜在的问题和机会,观察数据的模式和趋势,企业可以优化规范和流程,提高工作效率,帮助企业更好地预测未来的趋势和需求,从而制定更准确的预算和预测。
数据中台不仅可以支持企业的现有业务,还能够帮助企业探索和创新业务模式。通过对数据的深入分析和挖掘,可以发现新的市场机会和业务增长点,为企业的未来发展提供支持。