从word2vec模型获取距离矩阵和特征矩阵

问题描述

我已经使用gensim为一个巨大的语料库生成了word2vec模型，我需要使用k均值聚类来对词汇表进行聚类，以满足我的需要：

1. 余弦距离矩阵(字对字，因此矩阵的大小为字数x字数)
2. 要素矩阵(字对要素，因此矩阵的大小是字数x要素数(200))

对于特征矩阵，我尝试使用x=Model.wv，得到的对象类型为gensim.Models.keyedvetors.KeyedVectors，它比我预期的要小得多。特征矩阵将是

是否有方法可以直接使用此对象生成k-Means聚类？

---

解决方案

在gensim的word2vec模型中，原始的number_of-words x number_of_features数字向量数组位于model.wv.vectors中。(在较早的Gensim版本中，.vectors属性命名为.syn0与原始Googleword2vec.c命名相匹配)。

您可以使用model.wv.key_to_indexdict(以前的.vocab)来学习字符串标记到数组槽的赋值，或者使用model.wv.index_to_key列表(以前的.index2word)来学习数组槽到词的赋值。

成对距离不是预先计算的，因此您必须自己创建。对于典型的词汇量，它可能是不切实际的大。(例如，对于100,000个单词的词汇表，以最有效的方式存储所有成对距离大约需要100,000^2 * 4 bytes/float / 2 = 20GB个可寻址空间。