DAP数据分析平台数仓建设说明
企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。
DAP数据分析平台主要是满足在企业进行数据分析的过程中，进行数据集中化管控、决策分析等需要。通过DAP数据分析平台可以有效支撑企业构建数据仓库，实现企业业务数据的清洗和汇聚，同时基于DAP平台的展现配置，可以根据业务主题构建相应的展现大屏，从而实现数据的可视化展现，为企业领导层的数据把控和运营决策分析提供支持。
整体介绍
DAP数据分析平台就是采集各个业务系统的数据，进行数据筛选（表和字段、数据）、质量校验等步骤建立数仓，保证了数据标准性、完整性、准确性，从而实现企业业务数据的统一，通过数据可视化展现、数据服务来展现DAP数据分析平台的价值。
1.产品方案
首先介绍一下数通畅联的产品体系：
数通畅联的所有产品都是通过K8S云平台进行部署搭建产品环境，通过不同的产品组合方案来解决企业面临的不同信息化困境，帮助企业完善信息化发展。
上图所示通过DAP数据分析平台+MDM基础数据平台+ESB企业数据总线组成了数据中台方案，本次介绍的DAP数据分析平台就是此方案的核心，基础数据进行主数据治理，DAP数据分析平台进行业务数据治理，通过ESB进行数据的集成，帮助整合企业数据，统一管理，提升企业的数据价值。
2.功能架构
数据分析平台全生命周期是通过采集各个业务系统数据构建数仓，从而进行有效分析的过程，能够真实、准确、有效地将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力，加强决策力，从而提升整体竞争力。
数据分析平台功能有：
1.数据来源（应用系统定义、数据源头配置、ODS数据定义）数仓模型。
2.数仓模型（业务主题、维度配置、事实配置、模型配置、指标管理）。
3.数据调度（规则校验、调度资源（同步资源、加工资源）、调度任务、调度日志（同步日志、加工日志）、质量日志、通知日志）。
4.分析模型（数据集配置、立方体配置、业务类报表、多维度分析）。
5.展现模型（导航管理、组件管理、展现主题、装饰管理）。
6.数据服务（接收服务、查询服务、统计服务、指标服务、业务服务）
7.反向集成（集成配置、数据管理、数据分发）
8.数据标签（标签定义、标签配置、标签画像）。
9.统计分析（数据地图、质量分析、血缘分析、影响分析）。
10.系统管理（组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。
本次讲解的重点是数仓模型部分，建设数据仓库的建设。
3.场景介绍
DAP数据仓库的建设步骤是从业务系统到ODS，ODS转换到数仓中的（到维度表、基础事实表），汇总事实加工与ESB结合调用DAP接口创建ESB预置的集成流程，并且生成对应的数据调动，通过数据集成结合DAP功能进行上述数据治理，生成数仓模型，通过模型生成调动任务，通过调动任务来进行数据的采集、转换、加工汇总。
场景介绍
DAP数据分析平台通过数据治理帮助企业梳理各个业务系统业务数据，把系统需要梳理的业务数据同步到DAP的创建中间库中，然后根据调研出来的分析指标，把ODS中间库转换到数据仓库中。
1.维度配置
维度表主要是来源于主数据管理平台，主数据平台负责维度的统一以及各组织、项目等维度之间的映射等，所以维度表我们选择ODS中来源主数据表，形成对应的维度表，为后续数据模型的关联打下基础，以组织维度表为例：
2.事实配置
事实表分为两类，一是基础事实表（DWD），另一种是汇总的事实表（DWS），就拿人员基础事实表为例。
基础事实表是对业务系统基础数据的外键进行处理，关联我们的基础数据，并对ODS的字段进行处理，并选取度量，主要是按照业务系统来构建。
汇总事实表是有分为横向汇总和纵向汇总两种汇总模式，横向汇总就是通过度量字段进行SQL函数计算，纵向汇总就是对数据进行二次加功能，选择纵向汇总点击保存就会多出一个标签，我们就可以进行新增计算表达，表达是一些字段加减乘除等。
3.模型配置
维度表和基础事实配置完成后，我们要进行的是模型的配置，模型主要是来关联维度表以及事实表，在数据模型内选择我们刚才创建的组织维度表和人员事实表，名称是人员信息模型，然后配置两个表中的关联关系，同时在我们模型配置处还可以跟据选择的数据模型来生成对应的调度任务进行数据的集成同步，但这个只能是主动模型生成。
维度配置
维度配置主要是通过ODS转换到数仓来创建维度表的过程，然后根据数据调度进行数据同步。在这过程中我们可以进行质量校验与加工等一系列操作。
1.功能说明
维度表一般来源是主数据，是通过ODS源库读取方式采集的数据，通过ODS到数仓集成流程同步到维度表中进行展示，维度表也有的是固定预置好的比如时间维度、城市等枚举类维度是预置在DAP数据分析平台中。
2.功能配置
建立数据仓库了，数仓分为维度表和事实表，下面介绍维度表配置：
选择ODS来源表：
3.数据集成
数据从ODS到维度表，需要与ESB结合生成对应集成流程，就是下面我要讲解的数据集成部分。
ODS到维度表数据集成，需要选择ODS转换到EDW：
选择维表：选择要创建流程，选择后点击finish：
生成如下集成流程：
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询维度最新更新时间。
3.获取校验信息。
4.循环进行校验对比，如果校验错误方法质量集合中，如果正确就放到数据集合中。
5.调用质量日志接口插入质量日志。
6.正确数据更新到维度表中。
7.构建调度日志集合。
8.插入调动日志。
事实配置
事实表通过ODS中基础业务信息表创建出来，通过ODS作为来源创建基础事实表，然后再根据维度和基础事实表关联进行汇总计算生成汇总事实表。
1.功能说明
通过事实配置事实表：事实表分为基础事实表和汇总事实表，基础事实表是ODS拉取到事实表中，一些字段需要与维度表关联形成基础事实表，汇总事实表是通过维度进行汇总计算形成汇总事实表。
2.功能配置
基础事实表配置如下：
汇总事实表配置如下：汇总事实表分为横向汇总和纵向汇总，纵向汇总是通过SQL计算出指标值，横向汇总是通过表达式进行二次计算。
3.数据集成
基础事实表生成流程：
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询基础事实表最新更新时间。
3.获取校验信息。
4.循环进行校验对比，如果校验错误方法质量集合中，如果正确就放到数据集合中。
5.调用质量日志接口插入质量日志。
6.正确数据更新到维度表中。
7.构建调度日志集合。
1.初始化操作组件内容获取入场数据。
2.查询最新时间，查询基础事实表最新更新时间。
3.查询汇总数据。
4.构建调度日志集合。
5.插入调动日志。
模型配置
数据模型是数仓的概念，是指有维表和事实表组成的关系结构。数据模型是构建数据指标的基础。
1.功能说明
通过维度表和事实表的关联构建数仓模型，通过数仓模型可以生产任务，通过任务来进行调度从而进行数据抽取，这个是数仓建设集数据集成的全部过程，也是一个闭环，通过数仓模型就可以创建指标、数据集/立方体，在通过指标、数据集/立方体对外发布服务或者可视化展现，比如看板、大屏、报表类等。
2.功能配置
数据仓库搭建完，我们进行数仓模型的创建：
主要配置维度表和事实表的关联进行构建不同的数据模型：
3.功能应用
因为模型是通过维度表和事实表关联出的数据模型，所以能够找到对应调度资源，所以通过模型就可以生成调度任务。
心得总结
在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动，所以数据一定是标准的、完整的、准确的数据，通过上述质量校验功能把业务系统中不正确的数据过滤掉、调整后，使数仓中的数据具有可用性，这样分析出来的信息才能正确引导公司的发展。
1.产品结合
有效的解决方案一定根据企业自身业务情况来进行产品的组合拆分打造出来，通常与ESB企业数据总线产品结合进行，MDM负责数据治理工作，ESB负责数据同步分发工作。
通过数据集成能够快速地帮助企业建设自己数仓，帮助企业把一些凌乱的数据进行整合汇总，提升企业数据价值，提供一个决策分析用的工具，帮助决策人员更好地制定企业策略，或找出企业的潜在问题，提高客户满意度，最终提高企业竞争力。
2.产品价值
通过本次数据模型的建设进行梳理企业业务数据，从而进行数据治理，使数据具有准确性，快速帮助企业创建数据的集合，所有的信息都可以从数据仓库直接获取。通过数据可视化，业务组织可以提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作。
3.产品发展
产品不管怎么发展都是一个目的，那就是解决每个阶段企业面临的困境，帮助企业完善信息化发展，能够抓住每个企业的业务痛点，这样才能体现出产品的价值，一款好且稳定的产品可以帮助工作人员快速而方便得工作，大大提高了工作效率，也会让客户满意，增加客户对公司的信任度。
可以对采集到的所有海量数据进行分析，分析用的数据有由采样数据扩展至全部数据；其次，分析用的数据源从传统单一领域的数据扩展到跨领域的数据，大数据可以将不同领域的数据组合后进行分析。再次，数据基于有关关系的数据源相同可以分析预测出正确的结果。
