去掉停用词一般要自己写个去除的函数(def....),一般的思想是先分好词,然后看看分的词在不在停用词表中,在就remove,最后呈现的结果就是去掉停用词的分词结果。
后来找到一个jieba.analyse.set_stop_words(filename),以为可以直接设置一下停用词文件分词时就自动给我去除了,没想到分词的结果根本没有任何改变!
找了半天资料,又看了下jieba包里analyse文件夹里的各py文件,发现这个是为了作关键词提取用的,也就是:
用jieba.analyse.extract_tags时,设置jieba.analyse.set_stop_words才有用!
用jieba.lcut时,设置jieba.analyse.set_stop_words根本没有用!
比较了一下二者的最后结果,关键词提取的结果是简洁明了而且囊括了不少关键词,但是还是有些词没有包括进来,所以,如果想去除停用词+较为全面的分词结果,还是老老实实的自己写方法吧!
最后再附上比较全的一个停用词表:
https://github.com/goto456/stopwords