发布时间:2026-01-28
浏览次数:0
很多小伙伴常常会用到的一个代码编写工具,是IDEA,它的功能极为强大 。
Spark作为一个大数据计算组件,其与其他事物最大的区别在于,它会把数据放置在内存之中,以此来达成极高的计算效率。Spark是运用Scala语言编写而成的,所以,在学习Spark之前,预先掌握Scala是具备必要性的。
那么,对于这篇文章而言,首先要讲解的是,Scala究竟怎样,可以在IDEA当中,实现配置以及使用的操作呢 。
IDEA配置scala插件
进到File————里头,于搜索框那儿搜索scala,接着点击安装,待安装完成后,要重启IDEA。
要是不想通过其他方式,也能够手动来进行安装,首先得去往IDEA的官网,从中挑选Tools,紧接着便能够看到其中的Scala这个选项,要不然就跳转至All页面去 。
根据你所使用的IDEA版本,去下载与之相对应的scala插件。随后,在和刚才相同的那个地方,点击 from Disk... ,接着从中挑选你刚刚下载好的zip文件。
需要留意,在此处安装的仅为IDEA的scala插件,紧接着,我们去创建一个scala项目,先点击File,再点击New,接着点击Scala再选IDEA,而后在这儿,要是你并未安装scala,那就得点击Creat....——....
安装Scala
其实通过上一步直接下载scala的话就可以了。
要是你打算自行安装scala,其实蛮简单的,直接通过百度搜索Scala,进而进入官网,从中寻找到scala - 2.13.0.msi(此乃系统所需的),接着如同安装其他程序那般去安装就行。最终你能够将安装之后的路径添加至环境变量。如此一来你同样能够于scala shell里编写代码。
IDEA配置maven
Idea是自身带有maven的,选取菜单栏File,接着选Other,再选for New,随后搜索maven,跟着选择User file,这可是你maven配置信息文件所处于的路径,要是你打算修改,牢记要点击。Local选项那边,所指的是你依赖包进行下载的地方。
相当关键的配置,实际上就是依赖包下载的源头,在此是需要于.xml当中予以修改,在默认路径的状况下,是不存在这个文件的,我们能够自行创建,往后加入如下内容:
``
alimaven
aliyun maven
http://maven.aliyun.com/nexus/content/groups/public/
central
我这儿是换成了阿里云的源,默认的源处于国外intellij idea 配置,下载依赖包的速度会相对比较慢,要是在公司的情况下,通常是需要改成你们公司的仓库地址的。
添加Maven依赖
要是你所创建的是maven工程,那在你这个项目当中会存有这么一个pom.xml,此文件的作用便是对版本以及依赖包予以管理 ,maven添加依赖包的格式通常是像下面这样 :
ai.h2o
sparkling-water-core_2.10
1.3.10
sbt安装
除了能够借由maven工程针对项目的依赖、编译、打包等予以管理之外,scala还能够借助sbt来实施管理。首先,第一步依旧得如同上面scala那般安装sbt插件,跟上面的方式相同,直接搜索自动安装或者手动安装都是可行的。
然后,当然是需要安装sbt。
百度Sbt进入官网,下载安装。
紧接着,踏入安装目录E:\ Files (x86)\sbt\conf,针对配置.txt,去写入如下这般的内容:
# Set the java args to high
-Xmx512M
-XX:MaxPermSize=256m
-XX:ReservedCodeCacheSize=128m
# Set the extra SBT options
-Dsbt.log.format=true
-Dsbt.override.build.repos=true
-Dsbt.ivy.home=E:\sbt\.ivy2
-Dsbt.global.base=E:\sbt\.sbt
-Dsbt.repository.config=E:\sbt\conf\repo.properties
参数的意义是这样的:Dsbt.ivy.home,它是你依赖包下载到本地的那个位置。Dsbt..呢,是你sbt配置文件的位置,这里面包含了你依赖包仓库的源url等等。这里要特别留意一下:路径名称不要带有空格,因为这些配置参数是需要加到VM里的,一旦出现空格就会识别错误!!!
IDEA配置sbt
去到IDEA里面,步骤跟之前maven的并无二致,先要搜索sbt,接着在所填的VM内放入跟上一步配置文件完全相同的参数,随后在下方进行挑选,再选定你安装目录bin里的sbt-.jar。如此这般,你的sbt就完成配置了intellij idea 配置,往后新建scala项目时就能选sbt来实施管理了。
修改sbt的仓库源
之前上面已经讲过了,在对.txt进行配置的那个时候,就已然设定好了你sbt配置文件的路径,就如同上面我给出的路径是E:\sbt\conf\repo. ,不过呢,在默认情形下,你是不存在这个文件的,那你就得自己去创建这个文件,接着往里面填入下面提到的这些内容:
[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
maven-central
sonatype-oss-snapshots
我这里是换成了阿里云的源,默认的源是国外,下载依赖包速度会比较慢,如果在公司的话,一般需要改成你们公司的仓库地址。
Sbt添加依赖
涉及sbt项目管理所依靠的文件为build.sbt,增添依赖的格式是这般:
libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.2"
上面是指添加单独一个依赖的写法,如果是多个的话是这样的:
libraryDependencies ++= Seq(
groupID % artifactID % revision,
groupID % otherID % otherRevision
)
如有侵权请联系删除!
Copyright © 2023 江苏优软数字科技有限公司 All Rights Reserved.正版sublime text、Codejock、IntelliJ IDEA、sketch、Mestrenova、DNAstar服务提供商
13262879759
微信二维码