2016 - 2024

感恩一路有你

etl工具 分布式任务调度框架选型,如何选择一个合适的框架?

浏览量:2202 时间:2021-03-14 05:32:49 作者:admin

分布式任务调度框架选型,如何选择一个合适的框架?

首先,这样一个框架现在已经上市了。强烈建议不要重复制造车轮。

首先,我们将介绍几种主流技术。

Elastic job是当当网的开源分布式调度解决方案。它支持任务碎片化,能够充分利用资源。Elastic job有两个独立的子项目:Elastic job lite和Elastic job cloud。具体实现可以参考官方教程。总体架构如下。

弹性工作的特点:1。分布式调度。高可用性工作。切片任务执行。

此外,还有其他可用于比较的框架。例如TBSchedule是阿里巴巴的一个开源分布式调度框架,完全由Java实现,目前正在淘宝、阿里巴巴、支付宝、京东、汽车之家等应用。公开评论的开源XXL作业也是一种广泛使用的分布式调度任务。

目前,我已经使用弹性工作和XXL工作。两个功能都非常强大,后台管理也比较完善。开始很容易。能满足日常工作的需要。区别在于弹性作业依赖于ZK,而XXL作业不依赖于ZK,只依赖于数据库。

目前市场上应该还有一些其他的框架,但是以上都是比较主流的,你可以根据自己的需要来选择。记住不要反复造轮子。这需要很多时间来验证。它会让你远离深渊。

谢谢。我希望它能帮助你。如果你有什么问题,可以留言。我们一起讨论吧

Golang真的好用吗?

我最近刚结束围棋。我有点上瘾了。我已经做了10年javaer了。让我们谈谈我个人对这三种语言的理解。Go语言有几个独特的特性,完美的支持跨平台并发的垃圾收集,编译速度快。所以Go有很多优点。未来的许多应用程序都倾向于去,尤其是它的协同程序概念,它释放了多核处理器的能力。我对未来的发展持乐观态度。当然,Java有一个非常完整的生态系统。目前,构建大规模复杂系统是必不可少的。很多大数据框架都是基于Java的Java.python文件那爬虫呢,机器学习,人工智能领域有很多成熟的框架库,如果从事机器学习,也要向他学习

etl工具 golang任务调度框架 java分布式任务调度框架

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。