IDEA配置Spark开发环境(sbt)
sunshj Lv4
  2022-04-21 17:04:00 2022-04-21 17:04   2022-04-21 17:04:00      127 字  1 分钟  

与Spark完全分布式安装及简单Scala编程不同，此次使用sbt创建项目

一、系统配置

下载winutils：下载hadoop-2.7.7，解压至hadoop文件夹

环境变量：

  • 新建HADOOP_HOME，写入hadoop路径；
  • 在Path中添加%HADOOP_HOME%\bin

二、新建项目

  • IDEA新建项目
  • 选择Scala
  • 选择sbt

选择合适的JDK以及Scala版本

三、项目配置

bulid.sbt 添加spark-core (注意版本要与linux中相同)

1
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"
 评论
  1. 一、系统配置
  2. 二、新建项目
  3. 三、项目配置