IDEA配置Spark开发环境(sbt)

与Spark完全分布式安装及简单Scala编程不同，此次使用sbt创建项目

一、系统配置

下载winutils：下载hadoop-2.7.7，解压至hadoop文件夹

环境变量：

• 新建HADOOP_HOME，写入hadoop路径；
• 在Path中添加%HADOOP_HOME%\bin

二、新建项目

• IDEA新建项目
• 选择Scala
• 选择sbt

选择合适的JDK以及Scala版本

三、项目配置

bulid.sbt 添加spark-core (注意版本要与linux中相同)

libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"