3、探索 Spark 与 Databricks：基础入门与实践

探索 Spark 与 Databricks：基础入门与实践

1. Spark 命令历史与操作

在 Spark 中， :history 命令可显示之前输入的命令或代码行，这表明 Spark shell 会记录输入内容。若想快速显示或召回最近输入的内容，按下向上箭头键即可。当滚动到想要执行的行时，按下回车键就能执行该行代码。

2. Scala 与 Spark 的基础交互

2.1 基础 Scala 示例

• “Hello World”示例 ：在 Spark Scala shell 中输入 scala> println("Hello from Spark Scala shell") ，即可输出相应信息。
• 定义数组并打印元素 ：
  • 定义一个年龄数组并赋值给不可变变量： scala> val ages = Array(20, 50, 35, 41)
  • 若忘记数组类中用于迭代元素的函数名，但知道以 fo 开头，可输入 scala> ages.fo 然后按 Tab 键，利用代码补全功能，会发现所需的是 foreach 函数。使用该函数打印年龄： scala> ages.foreach(println)
• 定义