python有什么用 python的第三方包能直接在pyspark环境下用么？

2021-03-13

2721

python的第三方包能直接在pyspark环境下用么？spark（和pyspark）的执行可以特别详细，许多信息日志消息将打印到屏幕上。在开发过程中，这非常烦人，因为Python堆栈跟踪或打印输出可

python的第三方包能直接在pyspark环境下用么？

spark（和pyspark）的执行可以特别详细，许多信息日志消息将打印到屏幕上。在开发过程中，这非常烦人，因为Python堆栈跟踪或打印输出可能会丢失。

要减少spark输出-您可以在home/conf下设置$sparkLog4j。

首先，复制$sparkhome/conf/Log4j。属性.模板文件，删除“。模板“扩展。