我有大约20000个文本文件,文件名为1.txt、2.txt,依此类推…
现在,我正在创建一个字典d,包含文件5.txt、10.txt、15.txt等的文件路径…
d[value]=filepathex:d[5]=d:/articles/5.txtd[45]=d:/articles/45.txt
并且我有一个名为”temp.txt”的文本文件,其中包含500个单词的列表
vsmlnmoney
依此类推…
现在,对于字典”d”中的每个文本文件,我需要记录列表中所有单词的出现频率。
因此,我创建了一个嵌套字典,形式为d2[word][file]=count(这是正确的做法吗?)
其中,d2[vs][5]= "vs" 在5.txt中出现的次数
简而言之,对于每个文件,我遍历单词列表并统计其出现次数。
我如何创建d2?
我的错误代码是:
import collections, sys, os, resys.stdout=open('3.txt','w')from collections import Counterfrom glob import globfolderpath='d:/individual-articles'folderpaths='d:/individual-articles/'counter=Counter()filepaths = glob(os.path.join(folderpath,'*.txt'))# 返回文件中的下一个单词def words_generator(fileobj): for line in fileobj: for word in line.split(): yield wordd= collections.defaultdict(list)# 打印文件名(创建d)with open('topics.txt','r') as f: for line in f.readlines(): value=(line.split('~')[0]) if int(value)%5==0: file=folderpaths+value+'.txt' d[value].append(file)d2= collections.defaultdict(list)for file in filepaths: f = open(file,"r") words = words_generator(f) for word in words: if file in d[file]: d2[word][file]+= 1 # 我不知道如何继续,超出了这一点。
请帮助我!!
回答:
类似这样的代码:
import osfrom collections import Counter,defaultdictd2 = defaultdict(dict)word_list = ['vs', 'mln', 'money']for fil in d.values(): with open(fil[0]) as f: path, name = os.path.split(fil[0]) words_c = Counter([word for line in f for word in line.split()]) for word in word_list: d2[word][name] = words_c[word]
现在可以通过以下方式访问d2:
d2['vs']['5.txt']