统计文本词频的几种方法(Python)

news/2025/2/21 17:39:07/

目录

1. 单句的词频统计

2. 文章的词频统计

方法一:运用集合去重方法

方法二:运用字典统计

方法三:使用计数器


词频统计是自然语言处理的基本任务,针对一段句子、一篇文章或一组文章,统计文章中每个单词出现的次数,在此基础上发现文章的主题词、热词。

1. 单句的词频统计

思路:首先定义一个空字典my_dict,然后遍历文章(或句子),针对每个单词判断是否在字典my_dictkey中,不存在就将该单词当作my_dictkey,并设置对应的value值为1;若已存在,则将对应的value值+1。

#统计单句中每个单词出现的次数
news = "Xi, also general secretary of the Communist Party of China (CPC) Central Committee and chairman of the Central Military Commission, made the remarks while attending a voluntary tree-planting activity in the Chinese capital's southern district of Daxing."    
def couWord(news_list): ##定义计数函数  输入:句子的单词列表 输出:单词-次数 的字典my_dict = {}  #空字典 来保存单词出现的次数for v in news_list:if my_dict.get(v):my_dict[v] += 1else:my_dict[v] = 1return my_dictprint(couWord(news.split ()))

输出

{‘Xi,’: 1, ‘also’: 1, ‘general’: 1, ‘secretary’: 1, ‘of’: 4, ‘the’: 4, ‘Communist’: 1, ‘Party’: 1, ‘China’: 1, ‘(CPC)’: 1, ‘Central’: 2, ‘Committee’: 1, ‘and’: 1, ‘chairman’: 1, ‘Military’: 1, ‘Commission,’: 1, ‘made’: 1, ‘remarks’: 1, ‘while’: 1, ‘attending’: 1, ‘a’: 1, ‘voluntary’: 1, ‘tree-planting’: 1, ‘activity’: 1, ‘in’: 1, ‘Chinese’: 1, “capital’s”: 1, ‘southern’: 1, ‘district’: 1, ‘Daxing.’: 1}

以上通过couWord方法实现了词频的统计,但是存在以下两个问题。

(1)未去除stopword

输出结果中保护’also’、‘and’、'in’等stopword(停止词),停止词语与文章主题关系不大,需要在词频统计等各类处理中将其过滤掉。

(2)未根据出现次数进行排序

根据每个单词出现次数进行排序后,可以直观而有效的发现文章主题词或热词。

改进后的couWord函数如下:

def couWord(news_list,word_list,N):#输入 文章单词的列表 停止词列表  输出:Top N的单词my_dict = {}  #空字典 来保存单词出现的次数for v in news_list:if (v not in word_list): # 判断是否在停止词列表中if my_dict.get(v):my_dict[v] += 1else:my_dict[v] = 1topWord = sorted(zip(my_dict.values(),my_dict.keys()),reverse=True)[:N] return topWord

加载英文停止词列表:

stopPath = r'Data/stopword.txt'
with open(stopPath,encoding = 'utf-8') as file:word_list = file.read().split()      #通过read()返回一个字符串函数,再将其转换成列表print(couWord(news.split(),word_list,5)) 

输出

[(2, ‘Central’), (1, ‘voluntary’), (1, ‘tree-planting’), (1, ‘southern’), (1, ‘secretary’)]

2. 文章的词频统计

(1)单篇文章词频统计

通过定义读取文章的函数,对其进行大小写转换等处理,形成输入文章的单词列表。

https://python123.io/resources/pye/hamlet.txt

以上为hamlet英文版文本的获取路径,下载完成后保存到工程路径下。

使用open()函数打开hamlet.txt文件,并使用read()方法读取文件内容,将文本保存在txt变量中。

def readFile(filePath): #输入: 文件路径  输出:字符串列表with open(filePath,encoding = 'utf-8') as file:txt = file.read().lower() #返回一个字符串,都是小写words = txt.split()      #转换成列表 return wordsfilePath = r'Data/news/hamlet.txt'
new_list = readFile(filePath)  #读取文件
print(couWord(new_list,word_list,5))

接下来,我们需要对文本进行预处理,去除标点符号、分割成单词等。我们可以使用正则表达式来实现这一步骤。

import re# 去除标点符号
text = re.sub(r'[^\w\s]', '', text)# 分割成单词
words = text.split()

我们使用re.sub()函数和正则表达式[^\w\s]来去除标点符号,然后使用split()方法将文本分割成单词,并将结果保存在words列表中。

或者:

我们的文本中含有标点和字符的噪声数据,所以要进行数据的清洗,将文档全部处理为只有我们需要的字母类型(为方便操作,用空格替换噪声数据,将文档全部转化为小写字母)

打开文件,进行读取,清洗数据,数据归档。

def getText():txt = open("Hmlet.txt","r").read()txt = txt.lower()for ch in '!@#$%^&*()_/*-~':txt = txt.replace(ch," ")return txthamlet = getText()
words = hamlet.split()
counts = {}
for word in words:counts[word] = counts.get(word,0) + 1items = list(counts.items())
items.sort(key= lambda x:x[1],reverse=True)
for i in range(10):word, count = items[i]print("{0:<10}{1:>5}".format(word,count))

现在,我们已经得到了分割后的单词列表words,接下来我们需要统计每个单词出现的次数。我们可以使用Python的字典数据结构来实现词频统计。

word_counts = {}for word in words:if word in word_counts:word_counts[word] += 1else:word_counts[word] = 1

这段代码中,我们首先创建一个空字典word_counts,然后遍历words列表中的每个单词。对于每个单词,如果它已经在word_counts字典中存在,则将对应的计数值加1;否则,在字典中新增一个键值对,键为单词,值为1。

在统计完词频后,我们需要按照词频降序排序,以便后续输出结果。我们可以使用Python的内置函数sorted()来实现排序。

sorted_word_counts = sorted(word_counts.items(), key=lambda x: x[1], reverse=True)

我们使用word_counts.items()方法获取word_counts字典中的所有键值对,并使用key=lambda x: x[1]指定按照键值对中的值进行排序,reverse=True表示降序排列。排序结果将保存在sorted_word_counts列表中。

最后,我们将词频统计结果输出到控制台或文件中。

for word, count in sorted_word_counts:print(f'{word}: {count}')

这段代码中,我们使用for循环遍历sorted_word_counts列表中的每个元素(每个元素是一个键值对),并使用print()函数输出单词和对应的词频。

(2)多篇文章词频统计

需要使用os.listdir方法读取文件夹下的文件列表,然后对文件逐一进行处理。

import os 
folderPath = r'Data/news' #文件夹路径
tmpFile = os.listdir(folderPath)
allNews = []
for file in tmpFile:  #读取文件newsfile = folderPath + '//' + file #拼接完整的文件路径  \\ 转义字符allNews += readFile(newsfile)   #把所有的字符串列表拼接到allText中print(couWord(allNews,word_list,5))  

输出

[(465, ‘china’), (323, ‘chinese’), (227, ‘xi’), (196, “china’s”), (134, ‘global’)]

(3)中文文章的处理

对于中文文章的词频统计,首先要使用jieba等分词器对文章进行分词,并且加载中文的停止词列表,再进行词频统计。

3.三国演义人物出场频数

利用jieba库,进行中文分词,将其存入列表words中,遍历,将词组和词频作为键值对存入列表counts中,利用列表的有序性,进行排序,然后输出

https://python123.io/resources/pye/threekingdoms.txt

以上为三国演义中文版文本获取链接,下载后保存到工程路径下

import jieba
txt = open("threekingdoms.txt","r",encoding="utf-8").read()
counts = {}
words = jieba.lcut(txt)
for word in words:if len(word) == 1:continueelse:counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key = lambda x:x[1] , reverse=True)
for i in range(15):word , count = items[i]print("{0:<10}{1:>5}".format(word,count))

该方法比英文哈姆雷特词频简单,不用去处理字符类噪声数据,这也得益于jieba库的简易操作。

但随之带来的是词频的模糊,因为jieba库的特性,导致不是人名的词组也被统计了进来。

如结果中的“二人”、”孔明曰“,这些都是冗余和词组问题的错误。

所以我们应该还需要进行进一步的处理,让词频统计人物的名字次数

经过前几步的操作,我们输出了出现频率最高的15给词组,可我们如果想要人物的出场频率呢? 这就需要对原文件进行过滤,把我们不需要的输出删除。

因为之前的输出可以简单的获取到出现频率高但不是人名的词组,所以我们这里把它们储存到一个集合中,遍历并删除原文件中存在的这些词组。

excludes = {"将军","却说","二人","不可","荆州","不能","如此","商议","如何","主公","军士","左右","军马"}
for i in excludes:del counts[i]

冗余处理:把出现频率高的相同人物别名进行统一

 elif word == "诸葛亮" or word == "孔明曰":rword = "孔明"elif word == "关公" or word == "云长":rword = "关羽"elif word == "玄德" or word == "玄德曰":rword = "刘备"elif word == "孟德" or word ==  "丞相":rword = "曹操"

 反复的经过这些处理,我们可以得到我们想要的输出

import jieba
txt = open("threekingdoms.txt","r",encoding="utf-8").read()
counts = {}
excludes = {"将军","却说","二人","不可","荆州","不能","如此","商议","如何","主公","军士","左右","军马"}
words = jieba.lcut(txt)
for word in words:if len(word) == 1:continueelif word == "诸葛亮" or word == "孔明曰":rword = "孔明"elif word == "关公" or word == "云长":rword = "关羽"elif word == "玄德" or word == "玄德曰":rword = "刘备"elif word == "孟德" or word ==  "丞相":rword = "曹操"else:rword = wordcounts[rword] = counts.get(rword,0) + 1
for i in excludes:del counts[i]
items = list(counts.items())
items.sort(key = lambda x:x[1] , reverse=True)
for i in range(7):word,count = items[i]print("{0:<10}{1:>5}".format(word,count))

 

方法一:运用集合去重方法

1

2

3

4

5

6

7

8

9

def word_count1(words,n):

   word_list = []

   for word in set(words):

       num = words.counts(word)

       word_list.append([word,num])

       word_list.sort(key=lambda x:x[1], reverse=True)

   for i in range(n):

       word, count = word_list[i]

       print('{0:<15}{1:>5}'.format(word, count))

说明:运用集合对文本字符串列表去重,这样统计词汇不会重复,运用列表的counts方法统计频数,将每个词汇和其出现的次数打包成一个列表加入到word_list中,运用列表的sort方法排序,大功告成。

方法二:运用字典统计

1

2

3

4

5

6

7

8

9

10

11

12

def word_count2(words,n):

    counts = {}

    for word in words:

        if len(word) == 1:

            continue

        else:

            counts[word] = counts.get(word, 0) + 1

    items = list(counts.items())

    items.sort(key=lambda x:x[1], reverse=True)

    for i in range(n):

        word, count = items[i]

        print("{0:<15}{1:>5}".format(word, count))

方法三:使用计数器

1

2

3

4

5

6

7

def word_count3(words,n):

    from collections import Counter

    counts = Counter(words)

    for ch in "":  # 删除一些不需要统计的元素

        del counts[ch]

    for word, count in counts.most_common(n):  # 已经按数量大小排好了

        print("{0:<15}{1:>5}".format(word, count))


http://www.ppmy.cn/news/1176503.html

相关文章

【T3】畅捷通T3采购入库单单据预览,提示不能打开数据表。

【问题描述】 畅捷通T3点击采购入库单预览的时候&#xff0c; 提示ufdtprn窗口&#xff0c;不能打开数据库表SD-20230629HHTI_PurRKD。 【解决方法】 经查看提示的数据表为当前计算机名称&#xff0c; 删除计算机名称中横杠后&#xff0c;重启电脑正常。

人工智能三要数之算法Transformer

1. 人工智能三要数之算法Transformer 人工智能的三个要素是算法、数据和计算资源。Transformer 模型作为一种机器学习算法&#xff0c;可以应用于人工智能系统中的数据处理和建模任务。 算法: Transformer 是一种基于自注意力机制的神经网络模型&#xff0c;用于处理序列数据的…

【Django 05】Django-DRF(ModelViewSet)、路由组件、自定义函数

1. Django-DRF&#xff08;ModelViewSet&#xff09; 1.1 DRF是什么&#xff1f; ModelViewSet 是 Django REST framework 提供的一个视图集类&#xff0c;它封装了常见的模型操作方法。 模型类提供了默认的增删改查功能。 它继承自 GenericViewSet、ListModelMixin、Retri…

Flask 上传文件,requests通过接口上传文件

这是一个使用 Flask 框架实现文件上传功能的示例代码。该代码定义了两个路由&#xff1a; /upload&#xff1a;处理文件上传请求。在该路由中&#xff0c;我们首先从请求中获取上传的文件&#xff0c;然后将文件保存到本地磁盘上&#xff0c;并返回一个字符串表示上传成功。 /…

使用Google的地点自动补全功能

一、前言 在进行海外开发时候需要使用google地图&#xff0c;这里对其中的地点自动补全功能开发进行记录。这里着重于代码开发&#xff0c;对于key的申请和配置不予记录。 二、基础配置 app文件夹下面的build.gradle plugins {// ...id com.google.android.libraries.mapsp…

Nginx 防盗链

nginx防盗链问题 盗链&#xff1a; 就是a网站有一张照片&#xff0c;b网站引用了a网站的照片 。 防盗链&#xff1a; a网站通过设置禁止b网站引用a网站的照片。 nginx防止网站资源被盗用模块 ngx_http_referer_module 如何区分哪些是不正常的用户&#xff1f; HTTP Referer…

vue项目播放rtsp流视频。

下载webtrc-streamer的压缩包&#xff0c;在github上有 https://github.com/mpromonet/webrtc-streamer/releases 将下载包html文件夹下webrtcstreamer.js文件和html/libs文件夹下adapter.min.js文件复制到VUE项目public/stactic目录下&#xff0c;在index.html文件里引入这两个…

vue2、vue3中路由守卫变化

什么是路由守卫&#xff1f; 路由守卫就是路由跳转的一些验证&#xff0c;比如登录鉴权&#xff08;没有登录不能进入个人中心页&#xff09;等等等 路由守卫分为三大类&#xff1a; 全局守卫&#xff1a;前置守卫&#xff1a;beforeEach 后置钩子&#xff1a;afterEach 单个…