Spark MLlib 特征工程系列—特征转换N-Gram
在Spark中，NGram 是一个特征转换器，用于从输入的词汇序列生成n-gram特征。n-gram 是一种常用的文本处理方法，指的是由 n 个连续的词组成的序列。n-gram 模型在自然语言处理（NLP）任务中被广泛用于捕捉词语之间的关系。
N-Gram
1. 原理
n-gram 是一种从文本中提取连续的n个词的子序列的方法。对于一个句子或单词序列，n-gram 模型会生成所有可能的 n 个连续词的组合。例如：
- 1-gram（unigram）: 每个单词单独作为一个特征。
- 2-gram（bigram）: 每两个连续的单词作为一个特征。
- 3-gram（trigram）: 每三个连续的单词作为一个特征。
n-gram 模型通过捕捉词汇之间的局部依赖关系，有助于在文本处理中保留上下文信息。
2. 使用 NGram 的代码示例
下面是一个使用 Spark 的 NGram 转换器的示例，展示如何生成 n-gram 特征。
