数据仓库简介-构成

• 数据源分析：业务系统的源数据通常来自企业的内部信息和外部信息。内部信息指来自企业的生产数据和历史归档数据；而企业的生产数据有可能来自于不同的业务系统，如何将这些业务数据进行标准化，转换成数据仓库可以存储的数据，从而保证数据仓库中数据的一致性，这是数据源分析最重要的一步。（归档历史数据一般是指将大量的、不常用的历史数据以在线的方式或者以离线的方式存储在数据库中或者磁带机中，这些历史数据有可能会成为数据仓库系统分析未来趋势和探究根本原因的宝贵财富。外部信息一般包括企业的法律法规、该行业的市场信息和该企业竞争对手的信息，例如该企业竞争对手的市场占有率信息）
• 数据的迁移部分主要包括数据的抽取、转换和加载3个部分。
• 数据仓库的存储和管理：它按照主体的形式对业务源数据进行抽取、转换、加载和集成的。在数据仓库中，存储了大量的历史数据，将这些宝贵的历史数据转换成可以分析的、稳定的数据是数据仓库的根本任务和目的。
• 元数据的管理主要包括技术元数据和业务元数据的管理。

? ?数据源分析的过程分为范围分析、格式分析、更新方式分析、质量分析4个方面：

• 范围分析是指分析数据的范围。用户需要确定数据仓库系统需要数据源中的哪些原始数据。
• 格式分析是指对原始数据在数据库中的物理存储方式进行分析。内容包括在数据库中的存储类型、存储长度、数据精度等指标。
• 更新方式分析是指对原始数据在应用系统中的更新方式、更新频率、更新内容进行分析判断。内容包括原始数据何时更新、更新方式、具体更新哪些内容等。
• 质量分析是指分析业务源数据的质量。主要分析数据完整性、数据准确性、数据一致性等内容。一般步骤包括：设计数据质量定义文档，内容包括数据质量验收的依据，数据质量等级的划分，数据质量检查的流程等内容；再根据数据质量定义文档进行数据质量检查，最终形成质量报告；根据数据质量报告进行深入分析，将分析结果提交给相关人员，协助设计人员完成数据清洗规则的制定。通常，质量分析是数据源分析中最重要、工作量最多的部分。
• 除以上所述的对数据源进行分析外，还需要对各项指标数据的确切含义，统计口径等信息进行明确的界定，以避免产生二义性。

• 数据抽取前需要清楚以下内容：数据源来自于哪几个业务系统，各个业务系统的数据库管理系统分别是什么，是否存在手工录入的情况。
• 在确定数据抽取方式时，根据不同情况，不同业务源数据的抽取方式可能不相同。在对数据抽取方式进行设计时，首先根据数据抽取的范围，估算出每次抽取的数据量；然后再从实际的业务系统数据库服务器当前的运行情况，ETL服务器与业务系统数据库服务器之间的网络连接情况，客户对数据实时性的要求等方面考虑，选择最合适的抽取方式。
• 数据抽取可以有两种方式：直接抽取方式、间接抽取方式。
• 在进行数据抽取时，先明确每个数据表采用何种数据抽取方式。直接抽取方式是指数据抽取过程中直接从业务源数据库到目标库，中间没有经历过任何过渡。但是直接抽取方式必须确定业务系统数据库为ETL过程提供的数据库用户名、授权给该用户访问的表名称，对该用户授权的方式、数据抽取时相关的安全措施等内容。间接抽取方式是指采用文件交换的方式进行数据抽取，需要考虑网络连接、数据库的分布等客观因素。在文件交换的过程中，需要确定文件交换的位置、文件的格式、对文件完整性的检查、文件传输的方式、文件是否传输完毕的标记、文件重新传递的标记等内容。间接抽取方式也称做异步ETL方式

• 数据转换的含义是将业务系统内的各种源数据，通过自定义的转换脚本或者其他一些计算方法，将源数据转换成符合数据仓库要求的数据。转换过程包含了对数据不一致性的转换，数据粒度的转换和满足一些计算指标的转换。
• 如果转换的目标表是针对数据集市中的表，那么当每一个字段确定好转换规则后，需要对同一表中的所有字段进行综合，以SQL语句的方式记录下来。这期间包含了将业务系统数据按照数据仓库粒度进行聚合的过程。对于比较复杂的转换规则，无法在一个SQL语句中完整地表现一个表所有字段的，可以拆分为多个SQL语句。
• 在这一步，需要形成转换规则文档。内容包括数据集市中的所有字段如何关联到业务系统中的各个字段，以及每个字段的运算转换函数及参数，转换的方法，还包括每个表的SQL转换语句等内容。

• 数据经过转换、清洗后，需要装载到目标数据库中。数据装载的方式有多种：全表对比方式、时间戳方式、日志表的方式、全表删除后再插入的方式。

三、数据存储结

? ?在设计数据存储结构时，需要考虑：存储的时间、存储空间的利用率和数据维护的成本。

四、元数据

? ?元数据主要包括技术元数据与业务元数据

1、技术元数据

? ?技术元数据是存储关于商业智能系统技术细节的数据，是用于开发和管理商业智能系统使用的数据。它主要包括以下信息：商业智能系统结构的描述，包括对数据源、数据转换、抽取过程、数据加载策略以及对目标数据库的定义等内容；还包括数据仓库使用模式、视图、维度、层次结构、类别和属性的定义，以及立方体的存储模式等信息。

? ?总之，技术元数据提供给系统管理人员和数据仓库开发人员使用，管理人员需要了解操作环境到商业智能环境的映射关系（即ETL数据抽取的映射关系），数据的刷新规则，数据的安全性，数据库优化和任务调度等内容。数据仓库开发人员需要了解度量值和维度定义的算法。在实际商业智能开发过程中，业务元数据和技术元数据是相互关联的，对元数据的深刻理解是数据仓库应用和维护的基础。

2、业务元数据

? ?业务元数据从业务角度描述了商业智能系统中的数据，是介于使用者和真实系统之间的语义层，使得不懂计算机技术的业务人员也能够理解商业智能系统中的数据。业务元数据使用业务名称、定义、描述等信息表示数据仓库中各种属性和概念。业务元数据主要包括以下信息：用户的业务术语和他们表达的数据模型信息、对象名称及其属性，数据的来源信息和数据访问的规则信息，商业智能系统提供的各种分析方法以及报表展示的信息。业务元数据使数据仓库管理人员和用户更好的理解和使用数据仓库，用户通过查看业务元数据可以清晰的理解各指标的含义，指标的计算方法等信息。

? ?元数据的作用包括：便于商业智能系统的集成和可重用，保证数据仓库数据质量和可维护性，帮助业务人员和技术人员更好的理解当前业务和系统数据，提高商业智能系统的管理效率。