etl工具是什么 为什么建数据仓库需要使用ETL工具？
为什么建数据仓库需要使用ETL工具？数据仓库是一个战略集合，为各级决策过程提供各种数据支持。它是为分析报告和决策支持目的而创建的单个数据存储。由于要获取所有的数据，必然涉及到多系统、多类型数据库的对接
为什么建数据仓库需要使用ETL工具？
数据仓库是一个战略集合，为各级决策过程提供各种数据支持。它是为分析报告和决策支持目的而创建的单个数据存储。由于要获取所有的数据，必然涉及到多系统、多类型数据库的对接问题，以及数据的提取和整理问题。
此时，ETL工具的功能体现在数据提取、转换和加载的过程中，直至用于人们的分析。ETL是数据抽取、转换和加载的过程。
在某些地方，可以先在转换中选择和加载ELT。对于日志仓库，ETL首先要考虑业务需求，最后数据登陆模型要体现一定的主题。
一般来说，数据仓库就像一个大的池。水池的供水需要水泵和水管，ETL负责水泵和水管的功能。
数据仓库ETL到底是什么？
ETL工作的实质是从各种数据源中提取数据，对数据进行转换，最后通过数据仓库的维度建模，将数据加载并填充到表中。只有填写了这些维度/事实表，ETL工作才能完成。接下来，分别阐述了提取、转换和加载的三个步骤：数据仓库面向分析，操作数据库面向应用。显然，并非所有用于支持业务系统的数据都是分析所必需的。因此，本阶段主要根据数据仓库主题和主题字段确定从应用数据库中提取的编号。
在具体的开发过程中，开发人员必须经常发现数据仓库建模后某些ETL步骤与表描述不匹配。此时，ETL需要重新设计和重新设计。正如本文在数据库系列中提到的，任何涉及需求的更改都需要重新开始并更新需求文档。
转换步骤主要是指转换提取的数据结构以满足目标数据仓库模型的过程。此外，转换过程还对数据质量负责，这也称为数据清洗。这里可以参考数据质量的内容。
在加载过程中，为确保数据质量而提取和转换的数据将加载到目标数据仓库中。加载可以分为两种类型：首次加载和刷新加载。其中，首次加载会涉及大量数据，而刷新加载是一种微批量加载。
我们可以说，随着各种分布式和云计算工具的兴起，ETL实际上已经成为ELT。也就是说，业务系统本身不会做转换工作，而是将数据导入到分布式平台进行简单清洗后，让平台进行清洗和转换工作。这样可以充分利用平台的分布式特点，使业务系统更加专注于业务本身。
数据ETL是指什么？
ETL是数据提取、清理、转换和加载的过程。
是构建数据仓库的重要组成部分，用户从数据源中提取所需数据，经过数据清洗，最后根据预定义的数据仓库模型，将数据加载到数据仓库中。
大数据ETL工程师是做什么的，发展前景如何？
ETL工程师是大数据仓库方向的一个职位，主要从事数据清洗、提取和转换。目前，Hadoop的HDFS主要用作存储平台，hive用作数据建模、清洗和结构化数据分析，并使用工具或脚本将数据导入关系数据库数据节点，作为后续部门的结果数据。
一般的工作应该是通过hivesql、shell脚本或oozie等作业相关工具进行数据分析和统计，用于任务周期调度
还有很大的发展空间，用SQL实现业务可以锻炼思维逻辑，增加工作经验，后续可以做数据建模工程师，可以指导士兵做日常开发，而且薪水也很可观
ETL是“extract”的缩写，“extraction”、“transformation”和“load”是“extraction”、“transformation”和“load”，但我们通常称之为数据抽取。ETL是商业智能/数据仓库（Bi/DW）的核心和灵魂。它根据统一的规则整合和提高数据的价值。它是将数据从数据源转换到目标数据仓库的过程，是实现数据仓库的重要步骤。ETL包括三个方面：“抽取”：从各种原始业务系统中读取数据，这是所有工作的前提转换：根据预先设计的规则，对提取出来的数据进行转换，使原来的异构数据格式得到统一“加载”：将转换后的数据按计划增量或全部导入数据仓库。与ETL相比，ELT的优点是在转换过程中可以引用大量的数据。缺点是它可能只提取和加载数据，跳过转换过程。一些ETL工具从源中提取（E）数据，将（L）数据加载到目标数据库，然后将（T）数据转换到目标数据库。因此，有人给这种工具起了一个特殊的名字叫ELT。
etl的概念，etl和elt数据处理上的区别？
ETL工程师是从事系统编程、数据库编程和设计，掌握多种常用编程语言的专业技术人员。也称为数据库工程师。工作内容：见工作职责：
1。ETL开发海量数据，提取成各种数据需求。
2. 参与数据仓库体系结构的设计和开发。
3. 参与数据仓库ETL流程优化，解决ETL相关技术问题。4熟悉主流数据库技术，如Oracle、sqlserver、postgesql等。精通ETL架构，有一定的ETL开发经验，了解日常工作的部署和调度。5擅长数据ETL开发工具，如Datastage、Congos、kettle等。