2016 - 2024

感恩一路有你

hadoop什么时候开源的 apache hadoop的什么实现了?

浏览量:2939 时间:2023-01-16 15:00:43 作者:采采

hadoop什么时候开源的 apache hadoop的什么实现了?

Hadoop大数据框架的发展历程?

Hadoop的主要发展历程:

2008年1月,Hadoop成为Apache的顶级项目。

2008年6月,Hadoop的第一个SQL框架——Hive成为Hadoop的子项目。

2009年7月,MapReduce和Hadoop分布式文件系统(HDFS)成为Hadoop项目的独立子项目。

2009年7月,Avro和Chukwa成为Hadoop新的子项目。

2010年5月,Avro脱离Hadoop项目,成为Apache的顶级项目。

2010年5月,HBase脱离Hadoop项目,成为Apache的顶级项目。

2010年9月,Hive脱离Hadoop,成为Apache的顶级项目。

2010年9月,Pig脱离Hadoop,成为Apache的顶级项目。

2010 -2011年,扩展后的Hadoop社区忙于构建大量新组件(Crunch、Sqoop、Flume、Oozie等。)来拓展Hadoop的使用场景和可用性。

2011年1月,ZooKeeper脱离Hadoop,成为Apache的顶级项目。

2011年12月,Hadoop 1 . 0 . 0版本发布,标志着Hadoop在生产上已经初具规模。

2012年5月,Hadoop版本2.0.0-alpha发布,这是Hadoop-2.x系列的第一个版本(alpha)。相比之前的Hadoop-1.x系列,Hadoop-2.x版本中加入了YARN,YARN成为了Hadoop的一个子项目。

2012年10月,Impala加入Hadoop生态系统。

2013年10月,Hadoop 2 . 0 . 0版本发布,标志着Hadoop正式进入MapReduce v2.0时代。

2014年2月,Spark开始取代MapReduce成为Hadoop的默认执行引擎,成为Apache的顶级项目。

2017年12月,继Hadoop3.0.0的四个Alpha版本和一个Beta版本之后,Hadoop 3.0.0的第一个可用版本发布。

apache hadoop的什么实现了?

Hadoop是MapReduce的开源实现,它使用Hadoop分布式文件系统(HDFS)。

Apache Hadoop是一个软件平台,允许您轻松开发和运行处理大量数据的应用程序。

MapReduce将应用程序分成许多小任务块来执行。为了确保可靠性,HDFS将创建数据块的多个副本,并将它们放在集群的计算节点中,MapReduce将在存储数据副本的地方对它们进行处理。

在hadoop中,有一个主节点和多个数据节点。客户端在进行查询等操作时,只需要与主节点(即元数据服务器)进行交互,获取所需的文件操作信息,然后与数据节点进行通信,传输实际数据。

Hadoop 项目 MapReduce 数据 Apache

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。