1.tf.contrib.learn.VocabulayrProcessor()函数
这个函数输入文本数据，以及指定句子包含单词长度，可以将文本数据转化为索引形式，但是目前来看，好像不能按照词频大小进行排列，只是单纯地按照单词出现的顺序创建词典，按照词典将句子处理成索引形式。
注意对象内置的几个属性，可以输出词典的内容等。
max_document_length = 4
a = ['this is a test', 'I have an apple and a pen', 'how are I']
vocab_processor = tf.contrib.learn.preprocessing.VocabularyProcessor(max_document_length)
res = vocab_processor.fit_transform(a)
print(type(res))
for i in res:
print(i)
print('-'*30)
embedding_size = len(vocab_processor.vocabulary_)
print(embedding_size)
vocab_dict = vocab_processor.vocabulary_._mapping
print(type(vocab_dict))
print(vocab_dict)
sorted_dict = sorted(vocab_dict.items(), key = lambda x : x[1])
final_vocab = list(list(zip(*sorted_dict))[0])
print(final_vocab)
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/116694.html
