【AI知识点】词频-逆文档频率（TF-IDF）

词频-逆文档频率（TF-IDF，Term Frequency-Inverse Document Frequency）是一种用来衡量一个词在某个文档中的重要性，同时结合该词在整个文档集中的出现频率。它的核心思想是：在特定文档中出现频率高且在其他文档中较少出现的词会被赋予更高的权重，而那些在所有文档中普遍出现的词则会被削弱。

1. 词频（TF）

词频（Term Frequency，TF）表示某个词在文档中的出现频率，用来衡量该词在该文档中的相对重要性。它的计算公式为：

$\frac{\text{词} \ t \ \text{在文档} \ d \ \text{中出现的次数}}{\text{文档} \ d \ \text{中所有词的总数}}$

其中：

$t$ 表示某个词。
$d$ 表示某个文档。

词频的值范围为 $[0, 1]$ ，即表示该词在该文档中出现的频率比例。

2. 逆文档频率（IDF）

逆文档频率（Inverse Document Frequency，IDF）用来衡量一个词在整个文档集中出现的稀有程度。如果一个词在很多文档中出现，则该词的IDF值较低，因为它对区分文档的贡献较小。IDF的公式为：

$\log \left( \frac{M}{1 + N(t)} \right)$

其中：

$M$ 是文档集中的文档总数。
$N (t)$ 是包含词 $t$ 的文档数量。

在分母中加1是为了避免出现该词没有出现在任何文档中的情况（即 $N (t) = 0$ ，防止分母为零）。

3. TF-IDF 的计算

TF-IDF 是词频和逆文档频率的乘积，用于衡量词在文档中的重要性。其公式为：

$TF\text{-}IDF(t, d) = TF(t, d) \times IDF(t)$

其中：

$TF (t, d)$ 表示词 $t$ 在文档 $d$ 中的词频。
$I D F (t)$ 表示词 $t$ 在整个文档集中的逆文档频率。

TF-IDF 的值越大，表示该词在该文档中越重要，并且该词在整个文档集中不常见。相反，TF-IDF 值越小，表示该词在该文档集中出现频繁，因此它对区分文档的作用较小。

4. TF-IDF 的计算示例

假设我们有以下3篇文档：

文档1：我喜欢吃苹果。
文档2：我喜欢吃香蕉。
文档3：苹果和香蕉都很好吃。

第一步：计算词频（TF）

我们先计算“苹果”一词在文档1中的词频。文档1中共有4个词，“苹果”出现了1次，因此它的词频为：

$TF(\text{苹果}, \text{文档1}) = \frac{1}{4} = 0.25$

第二步：计算逆文档频率（IDF）

“苹果”出现在文档1和文档3中，共出现了2次，文档集的总文档数为3。因此，“苹果”的逆文档频率为：

$IDF(\text{苹果}) = \log \left( \frac{3}{1 + 2} \right) = \log \left( \frac{3}{3} \right) = \log(1) = 0$

第三步：计算 TF-IDF

将词频和逆文档频率相乘，计算“苹果”在文档1中的TF-IDF值：

$TF\text{-}IDF(\text{苹果}, \text{文档1}) = 0.25 \times 0 = 0$

这个结果表明，尽管“苹果”在文档1中出现，但由于它在其他文档中也频繁出现，其区分能力不强，因此它在文档1中的TF-IDF值为0。

5. TF-IDF 的作用

词频部分衡量某个词在特定文档中的出现频率，用以表示该词对该文档的贡献。
逆文档频率部分则通过衡量该词在整个文档集中的出现稀有度，降低了在所有文档中都频繁出现的词的权重，从而更突出那些在特定文档中重要但在其他文档中少见的词。

6. TF-IDF 的应用

a. 信息检索

在搜索引擎中，TF-IDF 用于衡量查询词与文档的相关性。那些具有高 TF-IDF 值的词被认为更能代表文档的内容，从而使文档在搜索结果中的排名更高。

b. 文本分类

TF-IDF 被广泛用于文本分类任务中，通过将每个文档表示为词汇的 TF-IDF 向量，这些向量可以作为分类模型的输入特征。

c. 文本相似性计算

在文本相似性任务中，TF-IDF 被用于将文档表示为向量，然后通过计算这些向量之间的余弦相似度（Cosine Similarity）来衡量文档的相似程度。

7. TF-IDF 的优缺点

优点：

简单且有效：易于实现并且计算开销较小。
强调重要词汇：通过TF-IDF，可以突出在特定文档中重要但在其他文档中较少出现的词。
过滤常见词：IDF有效地降低了诸如“的”、“是”等常见词的影响。

缺点：

忽略词序和上下文：TF-IDF不考虑词语的顺序和上下文关系，可能会丢失一些语义信息。
对多义词和同义词无能为力：无法区分同义词或处理多义词的不同语境。

8. TF-IDF 与词嵌入的对比

词袋模型（Bag-of-Words, BOW）：TF-IDF是词袋模型的一种增强版。词袋模型只考虑词频，TF-IDF在此基础上引入了逆文档频率，强调了区分文档的能力。
词嵌入模型（如Word2Vec, BERT）：与TF-IDF的静态词频统计不同，词嵌入模型通过深度学习学习到词语的稠密向量表示，并能够捕捉词语之间的语义关系。词嵌入模型能够处理词序、上下文以及多义词的语义差异，因此在捕捉文本语义方面比TF-IDF更加有效。

9. 总结

TF-IDF 是一种通过结合词频和逆文档频率来衡量词在文档中的重要性的方法。它在信息检索、文本分类、文本相似性等任务中应用广泛，虽然它无法捕捉词语的上下文语义，但仍然是处理文本数据的基础工具之一。