spark环境搭建及配置 python的第三方包能直接在pyspark环境下用么？

2021-03-13

2954

python的第三方包能直接在pyspark环境下用么？Spark（和PySpark）的执行可以特别详细，很多INFO日志消息都会打印到屏幕。开发过程中，这些非常恼人，因为可能丢失Python栈跟踪或

python的第三方包能直接在pyspark环境下用么？

Spark（和PySpark）的执行可以特别详细，很多INFO日志消息都会打印到屏幕。开发过程中，这些非常恼人，因为可能丢失Python栈跟踪或者print的输出。

为了减少Spark输出 – 你可以设置$SPARK_HOME/conf下的log4j。

首先，拷贝一份$SPARK_HOME/conf/log4j.properties.template文件，去掉“.template”扩展名。