理想国windows搭建spark+hadoop大数据开发环境教程

01.简介在python中使用pyspark并不是单纯的导入pyspark包就可以实现的。需要由不同的环境共同搭建spark环境，才可以在python中使用pyspark。搭建pyspark所需环境：python3，jdk，spark，Scala，Hadoop（可选）02.jdk下载安装下载地址：联系作者从百度网盘下载打开Windows中的环境变量：创建JAVA_HOME：C:\Program F

张大鹏520

318人浏览 · 2021-01-23 12:30:24

张大鹏520 · 2021-01-23 12:30:24 发布

01.简介

在python中使用pyspark并不是单纯的导入pyspark包就可以实现的。需要由不同的环境共同搭建spark环境，才可以在python中使用pyspark。

搭建pyspark所需环境：
python3，jdk，spark，Scala，Hadoop（可选）

02.jdk下载安装

下载地址：联系作者从百度网盘下载

打开Windows中的环境变量：
创建JAVA_HOME：C:\Program Files\Java\jdk1.8.0_181
创建CLASSPATH：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar
在Path添加：%JAVA_HOME%\bin;
测试是否安装成功：打开cmd命令行，输入java -version

03.Scala下载安装

下载地址：联系作者从百度网盘下载

下载后进行安装
创建SCALA_HOME: C:\Program Files (x86)\scala
Path添加：%SCALA_HOME%\bin
测试是否安装成功：打开cmd命令行，输入scala -version

04.Hadoop下载安装

下载地址：联系作者从百度网盘下载

解压到指定目录即可。
环境变量：创建HADOOP_HOME：D:\hadoop-2.7.7
Path添加：%HADOOP_HOME%\bin
测试是否安装成功：打开cmd命令行，输入hadoop

05.spark下载安装

下载地址：联系作者从百度网盘下载

也可以选择下载指定版本：http://spark.apache.org/downloads.html
下载好之后解压放在随便一个目录下即可，但是目录名不可以有空格。

环境变量：

创建SPARK_HOME：D:\spark-2.2.0-bin-hadoop2.7
Path添加：%SPARK_HOME%\bin
测试是否安装成功：打开cmd命令行，输入spark-shell

06.anaconda下载安装

下载：联系作者从百度网盘下载

直接双击运行安装包即可
一直下一步
测试是否安装成功：命令行下输入conda --version

07.测试环境是否搭建成功

测试整体环境是否搭建完成：

新建py文件并包含下面的测试代码：

from pyspark import SparkContext
sc = SparkContext("local", "count app")
words = sc.parallelize(
    ["scala",
     "java",
     "hadoop",
     "spark",
     "akka",
     "spark vs hadoop",
     "pyspark",
     "pyspark and spark"
     ])
counts = words.count()
print("Number of elements in RDD -> %i" % counts)