常用的etl工具 为什么建数据仓库需要使用ETL工具？

为什么建数据仓库需要使用ETL工具？数据仓库是一个战略集合，为各级决策过程提供各种数据支持。它是为分析报告和决策支持目的而创建的单个数据存储。由于要获取所有的数据，必然涉及到多系统、多类型数据库的对接

为什么建数据仓库需要使用ETL工具？

数据仓库是一个战略集合，为各级决策过程提供各种数据支持。它是为分析报告和决策支持目的而创建的单个数据存储。由于要获取所有的数据，必然涉及到多系统、多类型数据库的对接问题，以及数据的提取和整理问题。

此时，ETL工具的功能体现在数据提取、转换和加载的过程中，直至用于人们的分析。ETL是数据抽取、转换和加载的过程。

在某些地方，可以先在转换中选择和加载ELT。对于日志仓库，ETL首先要考虑业务需求，最后数据登陆模型要体现一定的主题。

一般来说，数据仓库就像一个大的池。水池的供水需要水泵和水管，ETL负责水泵和水管的功能。

大数据ETL工程师是做什么的，发展前景如何？

ETL工程师是大数据仓库方向的一个职位，主要从事数据清洗、提取和转换。目前，Hadoop的HDFS主要用作存储平台，hive用作数据建模、清洗和结构化数据分析，并使用工具或脚本将数据导入关系数据库数据节点，作为后续部门的结果数据。

一般的工作应该是通过hivesql、shell脚本或oozie等作业相关工具进行数据分析和统计，用于任务周期调度

还有很大的发展空间，用SQL实现业务可以锻炼思维逻辑，增加工作经验，后续可以做数据建模工程师，可以指导战士做日常的发展，而且薪水很不错

1。Hadoop

Hadoop是一个可以分布式处理大量数据的软件框架。但是Hadoop是以可靠、高效和可伸缩的方式处理的。另外，Hadoop依赖于社区服务器，所以它的成本相对较低，任何人都可以使用它。

2、SPSS统计软件

它使用Windows窗口模式显示各种数据管理和分析方法的功能，并使用对话框显示各种功能选项。只要掌握一定的windows操作技巧，了解统计分析的原理，就可以利用该软件进行各种数据分析，为实际工作服务。

3、Stata统计软件由计算机资源中心于1985年开发。它具有指令操作、程序容量小、统计分析方法完备、计算结果输出形式简单、图形精美等特点。缺点是数据兼容性差，存储空间大，数据管理功能有待加强。

4、Excel电子表格及统计功能

Excel电子表格是微软公司推出的office系列产品之一，是一款功能强大的电子表格软件。具有强大的表格管理和统计制表功能，操作方便。Excel的数据分析插件Xlstat也可以进行数据统计分析，但缺点是运算速度慢，统计方法不完整。

5、SAS统计软件]SAS系统是一个具有30多个功能模块的模块化软件系统。SAS是用汇编语言编写的，通常使用SAS需要编写程序，这更适合统计专业人员，但非统计专业人员学习SAS比较困难。SAS具有比较完整的数据访问、数据管理、数据分析和数据表示等一系列功能。尤其是其首创产品统计分析系统，由于其强大的数据分析能力，一直是业界著名的应用软件。在数据处理方法和统计分析领域，被誉为国际标准软件和最权威的优秀统计软件包。SAS系统提供的主要分析功能包括统计分析、计量经济分析、统计分析、时间序列分析、决策分析、财务分析和全面质量管理等统计分析工具。