spark使用 mesos、k8s和spark之间的联系和区别是什么？

mesos、k8s和spark之间的联系和区别是什么？mesos和k8s之间存在着一种关系。简而言之，它们之间存在着一种竞争关系。它们用于容器编排，是容器技术的关键组件。Mesos比k8s更早问世，曾

mesos、k8s和spark之间的联系和区别是什么？

mesos和k8s之间存在着一种关系。简而言之，它们之间存在着一种竞争关系。它们用于容器编排，是容器技术的关键组件。Mesos比k8s更早问世，曾在市场上大受欢迎。不过，在谷歌的支持下，k8s很快超越了mesos，击败了docker自己的swarm。如今，k8s已成为集装箱布局的事实标准。

Spark是大数据领域的软件。它最初是作为Hadoop的竞争对手出现的，现在已经与Hadoop集成。它与mesos和k8s没有直接关系，如果你不得不说是的话，它们都是开源软件。

MapReduce和Spark的区别是什么？

MapReduce是Hadoop的分布式计算编程框架

其核心功能是将用户编写的逻辑代码和自己的组件集成到一个程序中，在Hadoop集群上并发运行。核心组件是mrappmaster maptask Reducetask

spark是MapReduce的替代品，兼容HDFS和hive，可以集成到Hadoop生态系统中

它们之间的区别

1。Spark比MapReduce快

基于内存的计算比MapReduce快100多倍

基于硬盘的计算比MapReduce快10多倍

2。Spark支持流媒体和离线计算

MapReduce只支持离线计算

3。MapReduce没有资源调度系统，它必须在诸如yarn这样的资源系统上运行

]spark本身集成了资源调度，它可以在自己的主进程和工作进程上运行，也可以以独立的方式在yarn上运行

空间有限，所以我们先在这里介绍一下，欢迎评论

1行业中的大型模型都是基于logistic回归和线性回归的，所以SGD和lbfgs的理解非常重要，并行推导非常重要，要了解LR是如何并行的

2接下来是常见的机器学习算法，比如SVM gbdt KNN，了解原理，能在压力下快速反应。算法的优缺点和适应场景应基本清晰

3基本算法应熟练掌握数据结构、链表二叉树、快速行合并、动态返回等