Intelij IDEA配置Scala与Spark开发环境

最新推荐文章于 2025-09-21 14:15:42 发布
原创 最新推荐文章于 2025-09-21 14:15:42 发布 · 5k 阅读 · 17
本文介绍了在win10系统下，使用Intelij IDEA 2020.3.2配置Scala和Spark开发环境的方法。包括安装Scala插件、本地Scala开发环境，在IDEA添加Scala环境，完成Scala开发环境配置后，还给出了Spark开发环境的配置步骤及测试方法。

文章目录

开发环境

IDE:Intelij IDEA 2020.3.2
OS:win10
Spark:3.0.0
Scala:2.12.11

安装Scala插件

需要新建Maven项目，如果有不太清楚的同学请参考我以前的博客（点击可看）
首先需要在idea中安装插件，由于不挂梯子会导致网速贼慢，所以我们选取本地安装，资源已上传，具体安装步骤如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

安装本地（win10）Scala开发环境

首先需要确认所开发Spark与Scala的版本兼容问题，Spark3.0.0所匹配的Scala版本为2.12.x(我选择的是2.12.11)
然后在官网下载msi文件（点击可看）

标签
#大数据 #scala #spark #java
最低0.47元/天 解锁文章
Vivado ILA抓DDR信号（各种IO信号：差分、ISERDES、IOBUFDS等）
千歌叹尽执夏的博客
07-13 1029
Vivado ILA抓DDR信号（各种IO信号：差分、ISERDES、IOBUFDS等）
第95节：多模型多卡推理管理
最新发布
yumeiguo的博客
09-21 195
多模型推理：在同一硬件平台上同时部署多个不同或相同的深度学习模型，满足多任务需求。多卡推理：利用多块 GPU 资源，提升推理吞吐量与并发能力。目标：合理分配 GPU 资源，实现高效、低延迟的推理服务。
idea关联scala与spark开发（全）
qq_49824182的博客
10-12 3287
idea关联scala与spark开发（全）
软件可靠性测试与评价
moton2017的博客
09-10 2003
本文系统介绍了软件可靠性工程的核心内容，包括可靠性概念、模型分类、测试方法和评价体系。重点解析了可靠性测试的三大步骤：定义运行剖面、设计测试用例和实施测试收集数据，并以智能安防系统为例说明具体应用。可靠性评价需结合业务场景，通过量化指标（MTBF、失效率等）和模型预测持续优化系统。文章强调可靠性需贯穿软件全生命周期，通过闭环反馈实现持续改进，为关键系统提供质量保障。
Windows平台搭建Spark开发环境（Intellij idea 2020.1社区版+Maven 3.6.3+Scala 2.11.8）
SQL Server探索
07-23 5454
在开始之前，需要说明的是 要跑通基本的wordcount程序，是不需要在windows上安装 hadoop 和spark的， 因为idea在跑程序的时候，会按照 pom.xml配置文件，从指定的 repository源， 按照properties指定的版本，下载dependency中指定的依赖包 。 如果需要在本地通过 spark-shell，或者 运行开发完的包，那么就需要完整的hadoop 和spark环境， 就需要把这两个都安装好。 一、需要安装的软件版本 及 下载地址 jdk 1.8 ：ht.
在Intellij IDEA搭建Scala开发环境，以及使用Intellij IDEA开发Scala程序
热门推荐
qq_41544550的博客
03-22 1万+
1、Scala在Windows系统上的安装及环境配置 1）安装JDK1.8版本（注意：一定要是1.8版本，否则会有错误） >> 官网下载JDK1.8 Oracle官网下载JDK的地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html 自行选择32或64位下载，下载之前请先勾选“ Accep...
大数据编程技术之intelliJ配置Scala环境
qq_45260555的博客
09-26 1080
spark简介： **Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行计算框架。Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了Spark SQL、Spark Streaming、MLLib和GraphX等组件，也就是BDAS（伯克利数据分析栈），这些组件逐渐形成大数据处理一站式解决平
spark-在IDEA中搭建scala编程环境
weixin_52831324的博客
09-25 3751
入门spark-rdd编程
在Windows系统上搭建spark环境
qq_35090060的博客
11-29 278
过程参考 https://blog.csdn.net/u011521890/article/details/78577582 安装jdk（注意与spark版本对应，不要用太旧的版本） 安装scala 安装spark（要与jdk版本兼容） 安装hadoop（要与spark版本对应） 下载winutils.exe（要与hadoop版本对应） 例如，你安装的hadoop版本是2.7.5；那么你应当去下载...
（二）win7下用Intelij IDEA 远程调试spark standalone 集群
伏虎游侠的博客
05-04 2171
（二）win7下用Intelij IDEA 远程调试spark standalone 集群 关于这个spark的环境搭建了好久，踩了一堆坑，今天 环境： WIN7笔记本 　　　 spark 集群（4个虚拟机搭建的） 　　　 Intelij IDEA15 　　　 scala-2.10.4 　　　 java-1.7.0 版本问题： 个
inteliJ scala和spark环境配置
cyh
11-06 859
下载好idea后打开Settings 如图查看自己需要装的版本， 去https://plugins.jetbrains.com/plugin/1347-scala下载相应的,下载好后导入插件 重启idea后，进行创建scala项目 创建好后, 在项目目录结构中双击scala文件夹 这里选择自己的scala版本, ok然后点菜单的file -> project Structure –>
spark单机版intelij开发(含maven)
zhangMY12138的博客
03-12 216
https://www.jianshu.com/p/200473f264bchttps://blog.csdn.net/a2011480169/article/details/52712421 参考博客： 1、http://wwwlouxuemingcom.blog.163.com/blog/static/20974782201321953144457/ 2、http://blog.csdn.n...
win7下用Intelij IDEA 远程调试spark standalone 集群
11-03 662
关于这个spark的环境搭建了好久，踩了一堆坑，今天 环境： WIN7笔记本 　　　 spark 集群（4个虚拟机搭建的） 　　　 Intelij IDEA15 　　　 scala-2.10.4 　　　 java-1.7.0 版本问题： 个人选择的是hadoop2.6.0 spark1.5.0 scala2.10.4  jdk1.7.0 接下来就是用
idea调试远程spark服务器（2017.04图文，非转载）
machen990519的博客
04-11 2981
我们在编写Spark Application或者是阅读源码的时候，我们很想知道代码的运行情况，比如参数设置的是否正确等等。用Logging方式来调试是一个可以选择的方式，但是，logging方式调试代码有很多的局限和不便。今天我就来介绍如何通过IDE来远程调试Spark的Application或者是Spark的源码。 　　本文以调试Spark Application为例进行说明，本文用到的IDE
Spark学习笔记：四、WordCount字频统计入门程序（基于IntelliJ IDEA使用Scala+SBT）
松坡的机器学习笔记
06-16 672
一、环境准备： Ubuntu16.04 IDEA Ultimate(破解版、教育版) Java JDK 1.8 Hadoop2.7 (伪单机模式) Spark 2.1.0 Hadoop与Spark的安装过程本文省略 二、IDEA + SBT IDEA安装Scala插件（自带sbt），新建scala sbt项目 配置项目中的build.sbt name := "SBTTest...
win10+intelij 开发spark程序(一)
cafebar123的专栏
08-11 612
win10+intelij 开发spark程序(一)
spark-sql
diaorong5437的博客
06-12 106
本文用到的测试数据person.txt lijing　　29 guodegang　　45 heyunwei　　30 yueyunpeng　　100 rdd的分区数量，读取hdfs文件，默认是文件个数 rdd生成方式： 1) 并行化 2) 通过读取文件api方法生成 DataFrame的基础操作，详见官方API文档。将DataFrame存储详见官方AP...
IntelliJ IDE Spark程序开发
liweijie231的博客
06-21 503
环境部署安装IntelliJ IDE下载安装即可 ,选择Community版本下载Spark源码cd /Users/jackli/Desktop/Pjt_idea/ git clone https://github.com/apache/sparkIntelliJ 安装相关依赖 打开IntelliJ Import Project ，选择spark文件夹 选择Import Project fro
IntelliJ IDEA Spark源码分析
weixin_34392843的博客
11-05 124
为什么80%的码农都做不了架构师？>>> ...
通过IDEA搭建scala开发环境开发spark应用程序
weixin_34235135的博客
11-19 541
一、idea社区版安装scala插件因为idea默认不支持scala开发环境，所以当需要使用idea搭建scala开发环境时，首先需要安装scala插件，具体安装办法如下。1、打开idea，点击configure下拉菜单中的plugins选项：2、在弹出对话框中点击红框按钮：3、在弹出最新对话框的搜索栏输入scala，在筛选出的内容中选择红框部分，点击右侧install按钮开始下载插件：本人在测试...
java基于SSM房屋租赁管理系统(1)
shenliba的博客
04-15 972
各位读者，由于本篇幅度过长，为了避免影响阅读体验，下面我就大概概括了整理了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
CAHO H961（H721） 温控仪说明书.pdf
CAHO H961（H721） 温控仪说明书
上市公司企业技术封锁DID（2014-2024年）.xlsx
详细介绍及样例数据：https://blog.csdn.net/T0620514/article/details/155519559
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值