数据仓库 为什么建数据仓库需要使用ETL工具？

为什么建数据仓库需要使用ETL工具？

数据仓库是一个战略集合，为各级决策过程提供各种数据支持。它是为分析报告和决策支持目的而创建的单个数据存储。由于要获取所有的数据，必然涉及到多系统、多类型数据库的对接问题，以及数据的提取和整理问题。

此时，ETL工具的功能体现在数据提取、转换和加载的过程中，直至用于人们的分析。ETL是数据抽取、转换和加载的过程。

在某些地方，可以先在转换中选择和加载ELT。对于日志仓库，ETL首先要考虑业务需求，最后数据登陆模型要体现一定的主题。

一般来说，数据仓库就像一个大的池。水池的供水需要水泵和水管，ETL负责水泵和水管的功能。

本人本科大二，随手可以写java网课上的仓储系统(无法联网，图形化界面，sql)，在业内算什么水平呢？

我做软件已经20多年了。编程不仅是关于使用什么语言，而且是关于思考。编程语言只是一种工具。如果你熟悉一个工具，那就没什么值得骄傲的了，除非你想把编程和诗人比较一下。一个软件要实现哪些功能，这些功能用户如何使用才能酷、易用、稳定如新是最重要的。否则，就是半条命。我在这个领域没有太大的前途

谢谢。

要首先了解半结构化或非结构化数据，我们需要了解什么是结构化数据。

在原有的信息化建设中，大部分以数据库图表的方式存储的数据都是结构化的数据，也就是说，整体的数据结构非常好，每个数据都有一个唯一的标签，整体的检索是通过数据库索引的，所有的字段都可以通过SQL语句轻松找到。这些是结构化数据。例如，excel类似于一个小型数据库，如果其中有大量的数据，就很方便我们查找。相对而言，word中的图表数据比excel更难查找。如果ppt包含图片、视频和其他数据，那就更难了。那么Excel可以与结构化进行比较，word和PPT可以与半结构化和非结构化进行比较。如今，非结构化和半结构化数据的数量迅速增加，与富媒体时代息息相关。大多数人在阅读文字和数字之前。现在，人们玩直播、点播，视频数据增多，语音交互更加频繁，各种物联网不规范的数据被生成，大量的非结构化数据和半结构化数据被生成。数据。

希望对您有所帮助。欢迎交流，谢谢。

ETL工作的实质是从各种数据源中提取数据，对数据进行转换，最后通过数据仓库的维度建模将数据加载到表中。只有填写了这些维度/事实表，ETL工作才能完成。接下来，分别阐述了提取、转换和加载的三个步骤：数据仓库面向分析，操作数据库面向应用。显然，并非所有用于支持业务系统的数据都是分析所必需的。因此，本阶段主要根据数据仓库主题和主题字段确定从应用数据库中提取的编号。

在具体的开发过程中，开发人员必须经常发现数据仓库建模后某些ETL步骤与表描述不匹配。这时，需要重新检查和设计需求，重新进行ETL。正如本文在数据库系列中提到的，任何涉及需求的更改都需要重新开始并更新需求文档。

转换步骤主要是指转换提取的数据结构以满足目标数据仓库模型的过程。此外，转换过程还对数据质量负责，这也称为数据清洗。这里可以参考数据质量的内容。

在加载过程中，为确保数据质量而提取和转换的数据将加载到目标数据仓库中。加载可以分为两种类型：首次加载和刷新加载。其中，首次加载会涉及大量数据，而刷新加载是一种微批量加载。

我们可以说，随着各种分布式和云计算工具的兴起，ETL实际上已经成为ELT。也就是说，业务系统本身不会做转换工作，而是将数据导入到分布式平台进行简单清洗后，让平台进行清洗和转换工作。这样可以充分利用平台的分布式特点，使业务系统更加专注于业务本身。