15、Databricks Runtime 机器学习特征工程实用指南

Databricks Runtime 机器学习特征工程实用指南

在处理大量数据时，像 Spark SQL 和 MLlib 这样的工具在特征工程中十分有效。Databricks Runtime ML 还包含了一些第三方库，例如 scikit - learn，它能提供从数据中提取特征的实用方法。接下来，我们将详细介绍一些常见的特征工程技术。

1. 分词器（Tokenizer）

分词是将输入的字符串字符转换为由其组成部分构成的数组的过程。这些部分被称为标记（tokens），通常是单个单词，但也可以是一定数量的字符或称为 n - gram 的单词组合。分词过程可视为特征工程的一项任务，我们后续会使用生成的标记进行特征提取或转换。

在 PySpark 中，可以使用简单的 Tokenizer 类对字符串输入序列进行分词。以下是将句子拆分为单词序列的代码示例：

from pyspark.ml.feature import Tokenizer
sentenceDataFrame = sqlContext.createDataFrame([
  (0, "Spark is great for Data Science"),
  (0, "Also for data engineering"),
  (1, "Logistic regression models are neat")
], ["label", "sentence"])
tokenizer = Tokenizer(inputCol="sentence", outputCol="words")
wordsDataFrame =