hadoop调优 hadoop和python能搭配在一起做一个项目么?

hadoop和python能搭配在一起做一个项目么?Hadoop的HDFS用于存储,数据处理可以用python的Hadoop框架来完成,如mrjob、pydoop、Luigi等(还有Dumbo、Had

hadoop和python能搭配在一起做一个项目么?

Hadoop的HDFS用于存储,数据处理可以用python的Hadoop框架来完成,如mrjob、pydoop、Luigi等(还有Dumbo、Hadoop等框架,推荐两本书:《MapReduce设计模式》和《hive编程指南》。第一本书教你如何用MapReduce处理数据。第二本书是关于蜂巢的简单应用。在公司里,基本上可以用hive编写SQL,但有时还需要知道如何将底层翻译成Mr,否则可能会出现奇怪的问题。

多练习,多阅读,多思考,实践出真知。