hadoop什么时候开源的 apache hadoop的什么实现了?
Hadoop大数据框架的发展历程?
Hadoop的主要发展历程:
2008年1月,Hadoop成为Apache的顶级项目。
2008年6月,Hadoop的第一个SQL框架——Hive成为Hadoop的子项目。
2009年7月,MapReduce和Hadoop分布式文件系统(HDFS)成为Hadoop项目的独立子项目。
2009年7月,Avro和Chukwa成为Hadoop新的子项目。
2010年5月,Avro脱离Hadoop项目,成为Apache的顶级项目。
2010年5月,HBase脱离Hadoop项目,成为Apache的顶级项目。
2010年9月,Hive脱离Hadoop,成为Apache的顶级项目。
2010年9月,Pig脱离Hadoop,成为Apache的顶级项目。
2010 -2011年,扩展后的Hadoop社区忙于构建大量新组件(Crunch、Sqoop、Flume、Oozie等。)来拓展Hadoop的使用场景和可用性。
2011年1月,ZooKeeper脱离Hadoop,成为Apache的顶级项目。
2011年12月,Hadoop 1 . 0 . 0版本发布,标志着Hadoop在生产上已经初具规模。
2012年5月,Hadoop版本2.0.0-alpha发布,这是Hadoop-2.x系列的第一个版本(alpha)。相比之前的Hadoop-1.x系列,Hadoop-2.x版本中加入了YARN,YARN成为了Hadoop的一个子项目。
2012年10月,Impala加入Hadoop生态系统。
2013年10月,Hadoop 2 . 0 . 0版本发布,标志着Hadoop正式进入MapReduce v2.0时代。
2014年2月,Spark开始取代MapReduce成为Hadoop的默认执行引擎,成为Apache的顶级项目。
2017年12月,继Hadoop3.0.0的四个Alpha版本和一个Beta版本之后,Hadoop 3.0.0的第一个可用版本发布。
apache hadoop的什么实现了?
Hadoop是MapReduce的开源实现,它使用Hadoop分布式文件系统(HDFS)。
Apache Hadoop是一个软件平台,允许您轻松开发和运行处理大量数据的应用程序。
MapReduce将应用程序分成许多小任务块来执行。为了确保可靠性,HDFS将创建数据块的多个副本,并将它们放在集群的计算节点中,MapReduce将在存储数据副本的地方对它们进行处理。
在hadoop中,有一个主节点和多个数据节点。客户端在进行查询等操作时,只需要与主节点(即元数据服务器)进行交互,获取所需的文件操作信息,然后与数据节点进行通信,传输实际数据。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。