大数据应用工程师成为一个大数据研发工程师需要学习哪些知识？

2021-04-05

1123

成为一个大数据研发工程师需要学习哪些知识？大数据工程师有很多方向，但他们离不开Hadoop、hive、HBase、Kafka、spark、flum、spoop、Flink等基本组件。我们需要熟悉他们！

成为一个大数据研发工程师需要学习哪些知识？

大数据工程师有很多方向，但他们离不开Hadoop、hive、HBase、Kafka、spark、flum、spoop、Flink等基本组件。我们需要熟悉他们

！如果你是大数据平台研发工程师，你需要专注于Java系统和以上组件的开发

如果你是大数据运维工程师，你需要专注于Linux运维，包括shell脚本。当然，用Python效果更好，上面组件的部署和维护也很常见

如果你是一个数据访问和开发工程师，那就是各种sq l.Java和各种数据访问和处理组件，包括Kafka，kettle，flum，storm，等等

如果是一种大数据挖掘和分析，各种SQL、hive、spark和重要的机器学习算法都是通用的，另外，各种可视化技术都可以达到更好的效果，谢谢

美国很多政府机构和企业在早期都进行了大数据挖掘和分析，在数据应用方面取得了很好的成果，不仅在美国，欧洲一些工业大国，特别是德国和英国，而且在大数据产业的发展方面，都取得了很好的成绩，并且这些国家非常重视数据分析和应用。因为他们可以看到数据驱动的结果。

国内大数据不一样。它正处于婴儿期和最热的时期。主要原因是相当一部分企业对大数据的认识不够！企业对大数据知之甚少，因为他们没有意识到数据驱动能给企业带来的巨大价值，或者只有少数大型企业意识到了这一点。所以解决的办法就是提高数据驱动的意识。

虽然现在互联网上大数据很热，但很多公司还是普遍很难遇到合格的大数据人才。即使他们做到了，也面临着“留人难”的问题。

我认为我工作中最大的挑战是把每件事都做好。

因为大数据的核心价值是如何看穿数据。在这个时候，你需要你的分析能力。否则，不管你对工具有多熟练，你都没有一定的分析思维和思考深度，这只是一种浅薄的干预，你无法产生真正的商业价值。

关于零基础学习，你可以看到我之前写的答案。它包含了你需要掌握的基本技能。你要做的就是把它们一个一个地打破。

（ https://www.wukong.com/question/6473318209754959437/)

你好，我很高兴回答你的问题。

很遗憾，我也是在汽车行业，主要是在汽车控制软件，这是一个有点类似你的领域。说实话，汽车工业确实经历了一个蓬勃发展的时期。在短时间内，实现技术深度质的飞跃的可能性不大。可以说，夕阳产业。

在我看来，目前与汽车领域相关的人工智能可能包括智能交通、L4和L5级无人驾驶技术，这些技术都涉及智能算法、大数据、图像分析与识别、路径规划等内容。如果你想从事这个领域，建议从Python入手，用Python掌握机器学习、神经网络、图像分析等知识，这样我们就可以再联系L4和L5了。

此外，您今年30岁，已经工作了近10年。你也可以考虑从事与技术管理相关的工作。人工智能的概念和思想非常重要。您可以尝试了解人工智能的系统知识和构建智能平台的全过程。

一句话，人工智能的发展方向不是更深就是更广。

感谢您的阅读。

大数据工程师岗位分工包括大数据平台研发、大数据应用开发、大数据分析、大数据运维。在当前的大数据时代，这些与大数据相关的岗位还存在很大的人才缺口。随着大数据技术的逐步实施，对大数据工程师的需求将在未来很长一段时间内保持有不断增长的趋势。

随着大数据的发展，人工智能领域也获得了更好的发展机遇，特别是在机器学习（包括深度学习）、计算机视觉和自然语言处理等领域，都得到了大数据的大力支持。一些人工智能产品也被应用在生产环境中，如在物流、工业生产、医疗等领域它是一体的。

随着市场对人工智能产品需求的不断增加，许多科技公司相继成立了人工智能研发团队。因此，近年来，人工智能领域的专业人士获得了更多的发展机会，他们的工资往往相对较高。但由于人工智能领域专业人才培养周期长，本科阶段开设人工智能专业的高校数量很少，导致未来人工智能相关人才长期短缺。

虽然人工智能相关人才受到市场追捧，但大数据相关人才仍是热点之一，大数据人才的发展空间相对较大。随着工业互联网的发展，与大数据相关的人才将在大多数传统行业发挥巨大作用，因此大数据方向仍是一个不错的选择。

最后，大数据和人工智能的关系非常密切。许多人工智能研究人员都是从大数据中转移过来的，因此大数据也是人工智能的重要途径之一。