kettle怎么实现数据清洗 数据仓库ETL到底是什么？

数据仓库ETL到底是什么？

ETL工作的实质是从各种数据源中提取数据，对数据进行转换，最后通过数据仓库的维度建模，将数据加载到表中并填充到表中。只有填写了这些维度/事实表，ETL工作才能完成。接下来，分别阐述了提取、转换和加载的三个步骤：数据仓库面向分析，操作数据库面向应用。显然，并非所有用于支持业务系统的数据都是分析所必需的。因此，本阶段主要根据数据仓库主题和主题字段确定从应用数据库中提取的编号。

在具体的开发过程中，开发人员必须经常发现数据仓库建模后某些ETL步骤与表描述不匹配。这时，需要重新检查和设计需求，重新进行ETL。正如本文在数据库系列中提到的，任何涉及需求的更改都需要重新开始并更新需求文档。

转换步骤主要是指转换提取的数据结构以满足目标数据仓库模型的过程。此外，转换过程还对数据质量负责，这也称为数据清洗。这里可以参考数据质量的内容。

在加载过程中，为确保数据质量而提取和转换的数据将加载到目标数据仓库中。加载可以分为两种类型：首次加载和刷新加载。其中，首次加载会涉及大量数据，而刷新加载是一种微批量加载。

我们可以说，随着各种分布式和云计算工具的兴起，ETL实际上已经成为ELT。也就是说，业务系统本身不会做转换工作，而是将数据导入到分布式平台进行简单清洗后，让平台进行清洗和转换工作。这样可以充分利用平台的分布式特点，使业务系统更加专注于业务本身。

ETL工具，Kettle和DataStage各自有什么优缺点，目前哪个更流行一些？

没有流程管理。当表被锁定时，不容易找出原因，无法终止进程，无法控制最大进程数。

2. 数据抽取不能自动分包，也没有像ABAP这样高效的查询语句，比如select from。。所有入口都在。。大数据处理速度很慢，大量数据的日常处理无法完成。

3. 无法自动处理指定字段的增量。

4. 无法调试，调试将不提取数据。

5. 在计划处理链中指定命令非常麻烦。没有接口操作。处理链中有错误。无法继续运行或跳过处理。

6. 无法记录每个处理详细信息并记录处理时间。

7. 无法共享字段。字段不关联本位币单位，没有基础资料字段的概念。

8. 没有包处理的概念，没有日志处理。

9. 没有版本控制，联机不是传输。

10. 另外，没有外部发布WS、OData接口函数

更不用说报表函数，权限控制功能不强，底层数据库也不是多维信息立方体结构，字段也不区分指标和特征。。。。。

为什么建数据仓库需要使用ETL工具？

数据仓库是一个战略集合，为各级决策过程提供各种数据支持。它是为分析报告和决策支持目的而创建的单个数据存储。由于要获取所有的数据，必然涉及到多系统、多类型数据库的对接问题，以及数据的提取和整理问题。

此时，ETL工具的功能体现在数据提取、转换和加载的过程中，直至用于人们的分析。ETL是数据抽取、转换和加载的过程。

在某些地方，可以先在转换中选择和加载ELT。对于日志仓库，ETL首先要考虑业务需求，最后数据登陆模型要体现一定的主题。

一般来说，数据仓库就像一个大的池。水池的供水需要水泵和水管，ETL负责水泵和水管的功能。