spark编程基础 mysql作为数据源可否直接用spark处理？

mysql作为数据源可否直接用spark处理？谢谢。Spark通过JDBC从RDB查询数据源。不过，Spark对JDBC的支持也是一个渐进的演进过程，关键是1.3版的引入，也就是数据帧。在1.3之前，

mysql作为数据源可否直接用spark处理？

谢谢。Spark通过JDBC从RDB查询数据源。不过，Spark对JDBC的支持也是一个渐进的演进过程，关键是1.3版的引入，也就是数据帧。在1.3之前，spark使用JDBCRDD处理对JDBC的查询。它实现了标准的RDD接口，如分区和计算。但对很多用户来说太复杂了。从1.3开始，您可以直接用DF接口做同样的事情。例如，下面的代码可以完成一个RDB表的查询

如您所见，无论数据源（hive、parquet，甚至NoSQL）的数据来自何处，在引入数据帧后，其代码都非常相似，结果就是数据帧，您可以尽可能地将它们混合在一起。至于dataframe如何支持多个数据源以及如何优化它们，我将再次讨论源代码。

大数据处理为何选择spark？

spark parquet只能用于spark sql么？

1）过去，整个行业大数据分析的技术栈流水线一般分为以下两种方式：一是数据源--> HDFS--> Mr/hive/spark（相当于ETL）－> HDFS parquet--> spark SQL/impala--> resultservice（可以放在数据库中，也可以通过JDBC/ODBC作为数据服务使用）；b） 数据源->将数据实时更新到HBase/DB->导出到parquet-> spark SQL/impala-> resultservice（可放入DB或通过JDBC/ODBC作为数据服务使用）；上面提到的第二种方法完全可以通过Kafka spark streaming spark SQL来实现（也强烈建议使用parquet内部存储数据），而不是2）预期的方式：datasource-> Kafka-> spark streaming-> PARQ

在定位方面，两者都可以用于家庭，而且体积差不多，不过现在我觉得spark比较合适。在功能方面，spark更适合家庭录音，因为它的USB录音输出可以作为声卡使用，适合家庭录音环境，可以直接把信号录到Daw上。Thr 30 II无线简单地提供吉他扬声器系统。Spark还拥有强大的智能专属伴奏，因此在家里可以拥有乐队级伴奏。在操作方面，thr30ii无线是个傻瓜。虽然很简单，但很单调。Spark 40更详细。您可以下载预设或慢慢调整参数，这会让您感觉更好。最后但并非最不重要的是，雅马哈thr30ii的价格是spark的两倍。毫无疑问，spark 40是性价比之王。钱少了，还能有偏音引擎吗？

Spark 40和THR 30 II Wireless？

SBT更适合构建Scala项目，Maven更适合构建java项目。2对于spark中的API，Java和scala是不同的，但是差别不大。三。如果用Scala开发spark原型程序，可以使用spark-shell进行绘图，也可以直接使用spark-shell进行交互式实时查询。4scala代码的数量甚至会减少一个数量级，但使用scala的门槛相对较高。建议：使用Scala构建spark作业，因为spark本身是由SBT构建的。同时，利用Scala开发spark作业将有助于理解spark的实现机制