IDEA配置Spark开发环境(sbt)

与Spark完全分布式安装及简单Scala编程不同,此次使用sbt创建项目
一、系统配置
下载winutils:下载hadoop-2.7.7
,解压至hadoop文件夹
环境变量:
- 新建
HADOOP_HOME
,写入hadoop路径; - 在Path中添加
%HADOOP_HOME%\bin
二、新建项目
- IDEA新建项目
- 选择Scala
- 选择sbt
选择合适的JDK以及Scala版本
三、项目配置
bulid.sbt
添加spark-core (注意版本要与linux中相同)
1 | libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5" |
评论