百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 热门文章 > 正文

IntelliJ IDEA:Scala、sbt、maven配置教程

bigegpt 2024-10-12 06:50 5 浏览

IDEA相信是很多小伙伴经常使用的一个代码编写工具,其功能十分强大。

Spark是一个大数据计算组件,它与Hadoop最大的区别就是将数据放在内存,实现极高的计算效率。Spark是由Scala语言编写,所以,学习Spark之前,先掌握Scala是由必要的。

那这篇文章,就先讲解一下Scala如何在IDEA中进行配置使用。

IDEA配置scala插件

进入File——Settings——Plugins,在搜索框搜索scala,然后点击安装,等安装完毕,需要重启IDEA。

或者也可以手动安装,先去IDEA官网,选择Tools,接着可以看到PLUGIN MARKETPLACE里面的Scala,或者跳转到All Plugins页面。

下载你IDEA版本对应的scala插件。接着,还是上面同个地方,点击Install Plugin from Disk...,然后选择你刚才下载的zip文件。

需要注意,这里安装的只是IDEA的scala插件 接着,我们新建一个scala项目,File——New——Scala——IDEA,然后这里,如果你没有安装scala的话,需要点击Creat....——Download....

安装Scala

其实通过上一步直接下载scala的话就可以了。

如果你想要自己安装scala的话也很容易,直接百度Scala进入官网,找到scala-2.13.0.msi(这是windows系统的),然后像其他程序一样安装就可以了。最后你可以把安装后的路径加到环境变量。这样你也可以在scala shell中编写代码。

IDEA配置maven

IDEA是自带maven的,选择菜单栏File——Other Settings——Settings for New Projects,然后搜索maven,接着选择User settings file,这是你maven配置信息文件的路径,如果你想修改的话,记得要点击Override。Local repository选项的话,是你依赖包下载的位置。

比较关键的配置,其实就是依赖包下载的源,这里是得在settings.xml进行修改, 默认路径下,是没有这个文件,我们可以自己创建,然后加入以下内容:

<settings 
        xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
``
      <mirrors>
        <mirror>  
            <id>alimaven</id>  
            <name>aliyun maven</name>  
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
            <mirrorOf>central</mirrorOf>          
        </mirror>  
      </mirrors>
</settings>

我这里是换成了阿里云的源,默认的源是国外,下载依赖包速度会比较慢,如果在公司的话,一般需要改成你们公司的仓库地址。

添加Maven依赖

如果你创建的maven工程,那么你项目中会有这么一个pom.xml,这个文件就是来管理你的版本和依赖包的。maven添加依赖包的格式一般是如下:

<dependency>
    <groupId>ai.h2o</groupId>
    <artifactId>sparkling-water-core_2.10</artifactId>
    <version>1.3.10</version>
</dependency>

sbt安装

除了可以通过maven工程对项目的依赖、编译、打包等进行管理以外,scala还可以通过sbt来管理。 首先,第一步仍然需要上面scala一样安装sbt插件,跟上面的方法一样,直接搜索自动安装或者手动安装都可以。

然后,当然是需要安装sbt。

百度Sbt进入官网,下载安装。

接着,进入安装目录E:\Program Files (x86)\sbt\conf,配置sbtconfig.txt,写入以下内容:

# Set the java args to high
?
-Xmx512M
?
-XX:MaxPermSize=256m
?
-XX:ReservedCodeCacheSize=128m
?
# Set the extra SBT options
?
-Dsbt.log.format=true
-Dsbt.override.build.repos=true 
-Dsbt.ivy.home=E:\sbt\.ivy2
-Dsbt.global.base=E:\sbt\.sbt
-Dsbt.repository.config=E:\sbt\conf\repo.properties

说明一下参数的意义:Dsbt.ivy.home是你依赖包下载到本地的位置,``Dsbt.repository.config是你sbt配置文件的位置(包括你依赖包仓库的源url等) 这里要特别注意一下:路径名称不要带有空格,因为这些配置参数是需要加到VM parameters的,出现空格会识别错误!!!

IDEA配置sbt

进入IDEA,还是跟maven一样的步骤,搜索sbt,在VM parameters中填入跟上一步配置文件一样的参数;在下面选择Custom,然后选择你安装目录bin下的sbt-launch.jar。 这样你的sbt就配置完成,你可以在新建scala项目的选择sbt来进行管理了。

修改sbt的仓库源

上面已经提到了,在配置sbtconfig.txt的时候,就已经设定了你sbt配置文件的路径,如上面我的路径是E:\sbt\conf\repo.properties,但默认情况下,你是没有这个文件的,你需要自己创建这个文件,然后填入以下内容:

[repositories]
local
aliyun: http://maven.aliyun.com/nexus/content/groups/public/
typesafe: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
sonatype-oss-releases
maven-central
sonatype-oss-snapshots

我这里是换成了阿里云的源,默认的源是国外,下载依赖包速度会比较慢,如果在公司的话,一般需要改成你们公司的仓库地址。

Sbt添加依赖

sbt项目管理依赖的文件是build.sbt,添加依赖的格式如下:

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.2"

上面是指添加单独一个依赖的写法,如果是多个的话是这样的:

libraryDependencies ++= Seq(
  groupID % artifactID % revision,
  groupID % otherID % otherRevision
)




相关推荐

Linux gron 命令使用详解(linux gminer)

简介gron是一个独特的命令行工具,用于将JSON数据转换为离散的、易于grep处理的赋值语句格式。它的名字来源于"grepableon"或"grepable...

【Linux】——从0到1的学习,让你熟练掌握,带你玩转Linu

学习Linux并掌握Java环境配置及SpringBoot项目部署是一个系统化的过程,以下是从零开始的详细指南,帮助你逐步掌握这些技能。一、Linux基础入门1.安装Linux系统选择发行版:推荐...

Linux常用的shell命令汇总(linux中shell的作用)

本文介绍Linux系统下常用的系统级命令,包括软硬件查看、修改命令,有CPU、内存、硬盘、网络、系统管理等命令。说明命令是在Centos6.464位的虚拟机系统进行测试的。本文介绍的命令都会在此C...

零成本搭建个人加密文件保险柜(适用于 Win11 和 Linux)

不依赖收费软件操作简单,小白也能跟着做支持双系统,跨平台使用实现数据加密、防删除、防泄露内容通俗无技术门槛,秒懂秒用使用工具简介我们将使用两个核心工具:工具名用途系统支持Veracrypt创建加密虚...

如何在 Linux 中使用 Gzip 命令?(linux怎么用gzip命令)

gzip(GNUzip)是Linux系统中一个开源的压缩工具,用于压缩和解压缩文件。它基于DEFLATE算法,广泛应用于文件压缩、备份和数据传输。gzip生成的文件通常带有.gz后缀,压缩效率...

Linux 必备的20个核心知识点(linux内核知识点)

学习和使用Linux所必备的20个核心知识点。这些知识点涵盖了从基础操作到系统管理和网络概念,是构建扎实Linux技能的基础。Linux必备的20个知识点1.Linux文件系统层级标...

谷歌 ChromeOS 已支持 7z、iso、tar 文件格式

IT之家6月21日消息,谷歌ChromeOS在管理文件方面进行了改进,新增了对7z、iso和tar等格式的支持。从5月的ChromeOS101更新开始,ChromeOS...

如何在 Linux 中提取 Tar Bz2 文件?

在深入解压方法之前,我们先来了解.tar.bz2文件的本质。.tar.bz2是一种组合文件格式,包含两个步骤:Tar(TapeArchive):tar是一种归档工具,用于将多个文件或目录打包...

如何在 CentOS 7/8 上安装 Kitematic Docker 管理器

Kitematic是一款流行的Docker图形界面管理平台,适用于Ubuntu、macOS和Windows操作系统。然而,其他发行版(如CentOS、OpenSUSE、Fedora、R...

Nacos3.0重磅来袭!全面拥抱AI,单机及集群模式安装详细教程!

之前和大家分享过JDK17的多版本管理及详细安装过程,然后在项目升级完jdk17后又发现之前的注册和配置中心nacos又用不了,原因是之前的nacos1.3版本的,版本太老了,已经无法适配当前新的JD...

爬虫搞崩网站后,程序员自制“Zip炸弹”反击,6刀服务器成功扛住4.6万请求

在这个爬虫横行的时代,越来越多开发者深受其害:有人怒斥OpenAI的爬虫疯狂“偷”数据,7人团队十年心血的网站一夜崩溃;也有人被爬虫逼到极限,最后只好封掉整个巴西的访问才勉强止血。但本文作者却走...

Ubuntu 操作系统常用命令详解(ubuntu必学的60个命令)

UbuntuLinux是一款流行的开源操作系统,广泛应用于服务器、开发、学习等场景。命令行是Ubuntu的灵魂,也是高效、稳定管理系统的利器。本文按照各大常用领域,详细总结Ubuntu必学...

Linux面板8.0.54 测试版-已上线(linux主机面板)

Linux面板8.0.54测试版【增加】[网站]Java项目新增刷新列表按钮【增加】[网站]PHP项目-Apache-服务新增守护进程功能【增加】[网站]Python项目创建/删除网站时新增同时创建...

开源三剑客——构建私有云世界的基石

公共云原生的浪潮正在席卷这个世界,亚马逊AWS、谷歌GCP和微软的Azure年收入增长超过了30%,越来越多的公司和个人开始将自己的服务部署到云环境中,大型数据中心的规模经济带来了成本的降低,可以在保...

2.2k star,一款业界领先的私有云+在线文档管理系统

简介kodbox可道云(原KodExplorer)是业内领先的企业私有云和在线文档管理系统,为个人网站、企业私有云部署、网络存储、在线文档管理、在线办公等提供安全可控,简便易用、可高度定制的私有云产品...