Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher

①查http://desktop:8088/cluster/scheduler中的进度条有没有爆满，如果爆满了是上次提交的任务没清除占用空间了，先释放再说②cd $SPARK_HOME_HOMEgrep -rspark.yarn.jarsconf/spark-defaults.conf:spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jarhdfs

微电子学与固体电子学-俞驰

3896人浏览 · 2020-07-22 21:55:34

微电子学与固体电子学-俞驰 · 2020-07-22 21:55:34 发布

①查http://desktop:8088/cluster/scheduler

中的进度条有没有爆满，如果爆满了是上次提交的任务没清除占用空间了，先释放再说

②
cd $SPARK_HOME_HOME
grep -r spark.yarn.jars
conf/spark-defaults.conf:spark.yarn.jars hdfs://Desktop:9000/spark/jars/*.jar
hdfs dfs -mkdir hdfs://Desktop:9000/spark
hdfs dfs -mkdir hdfs://Desktop:9000/spark/jars
hdfs dfs -put $SPARK_HOME/jars/* /spark/jars