idea import spark.implicits._ 报红，无法导入

错误的代码def main(args: Array[String]): Unit = {SparkSession.builder().appName("Test DF").config("config.option", "some-value").getOrCreate()//import implicit DF,DSimport spark.im

qq_16590169

2744人浏览 · 2021-01-04 23:58:29

qq_16590169 · 2021-01-04 23:58:29 发布

错误的代码

def main(args: Array[String]): Unit = {
      SparkSession.builder()
      .appName("Test DF")
      .config("config.option", "some-value")
      .master("local[4]")
      .getOrCreate()
 
        //import implicit DF,DS
        import spark.implicits._ //这里的spark出现了红色，无法导入
    }

解决方法：给SparkSession.builder一个对应的变量值，这个变量值是spark。因为在spark-shell端，这个spark变量就是指的SparkSession，所以使用的时候，可以直接导入，没有提示错误。

这里的spark不是某个包下面的东西，而是我们SparkSession.builder()对应的变量值，下面是正确的写法

 def main(args: Array[String]): Unit = {
   val spark = SparkSession.builder()
      .appName("Test DF")
      .config("config.option", "some-value")
      .master("local[4]")
      .getOrCreate()

    //import implicit DF,DS
    import spark.implicits._ //这里的spark就可以正常使用

    }