本文档展示了如何使用Scala编写WordCount程序，并在Spark框架下运行。代码导入了必要的Spark库，定义了一个WordCount对象。完成后，将程序打包为jar文件，并在命令行通过`spark-submit`命令在Spark集群上执行。
文件名：WordCount.scala
import org.apache.spark.SparkContext._
import org.apache.spark.SparkContext
object WordCount{
def main(args:Array[String]){val sc =new SparkContext("local","master") //SparkContext有四个参数，第一个参数是spark master的位置（spark://master:7077），在本地环境下可以用local表示；第二 //个参数是程序名称，自定义一个字符串即可；第三个参数是spark安装目录；第四个是jar包存放位置。对与spark on yarn 而 &
扫一扫
2283
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
