IDEA配置Spark开发环境(sbt)
sunshj Lv5

Spark完全分布式安装及简单Scala编程不同,此次使用sbt创建项目

一、系统配置

下载winutils:下载hadoop-2.7.7,解压至hadoop文件夹

环境变量:

  • 新建HADOOP_HOME,写入hadoop路径;
  • 在Path中添加%HADOOP_HOME%\bin

二、新建项目

  • IDEA新建项目
  • 选择Scala
  • 选择sbt

选择合适的JDK以及Scala版本

三、项目配置

bulid.sbt 添加spark-core (注意版本要与linux中相同)

1
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5"
  • 本文标题:IDEA配置Spark开发环境(sbt)
  • 本文作者:sunshj
  • 创建时间:2022-04-21 14:15:57
  • 本文链接:https://me.sunshj.top/archives/spark-idea-sbt/
  • 版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!
 评论