使用 word2vec 训练wiki中英文语料库 - 简书
使用 word2vec 训练wiki中英文语料库
上学期读了有关word2vec的两篇paper之后，不是很明白，这学期重新花时间再读，并且根据这两篇paper进行一个词向量相关的实验，选来选去，发现网上有大神就wiki中英文语料库进行训练，鉴于渣渣水平，于是就选择了训练使用词向量来训练wiki中英文语料库。整个过程参考：准备工作为了训练语料库，当然需要去下载。（11.9G) (1.2G)然后就是准备好编译环境，语言选择的是python，使用了gensim的库，该库是由Radim ?eh??ek博士基于google发布的C语言版本的word2vec编写的Python库。如何安装该库就不多说了。处理流程1、英文wiki训练首先需要将xml的文件转换成txt文件，主要通过process_wiki.py这个脚本来进行，在参考文考网页中提出了注意“wiki = WikiCorpus(inp, lemmatize=False, dictionary={})"将lemmatize设置为False避免使用Pattern来讲英文单词词干化处理，以免变得很慢，于是就华丽丽的接受。整个过程大概用了5个小时左右，共有差不多400W的articles。执行命令为：python3 process_wiki.py enwiki-latest-pages-articles.xml.bz2 wiki.en.text生成了wiki.en.text，生成的效果如下：
wiki.en.text效果图
接下来就是拿wiki.en.text的文本进行词向量的调用处理，通过train_word2vec_model.py的脚本对该文件进行处理。执行的命令为：python3 train_word2vec_model.py wiki.en.text wiki.en.text.model wiki.en.text.vector. 同样采取参考blog的方式，保存了vector方便debug。训练了大概8个小时左右，之后在ipython中对已经训练好的model进行调试，调试如下：
英文wiki结果图(一)
英文wiki结果图(二)
在这里调试的时候并没有遇到参考blog中说到得问题，这里具体原因是什么,还是需要讨论。但是可以看出效果其实不怎么好，以后有机会会使用word2vec的C版本进行试验。当然，这里可以使用model的其他函数进行调试，具体可以看gensim的文档进行查看。2、中文wiki训练同样地和英文一样，使用process_wiki.py 进行脚本处理，处理了10分钟，执行命令为：python3 process_wiki.py zhwiki-latest-pages-articles.xml..text处理得到的效果如下：
.text效果图
咦，全是繁体字，那么由于某种原因，wiki中文版本都是繁体字的语料，而且可以看出有一些英文，还有一些其他字符，而且还需要对中文进行分词，这些都是需要处理的部分。那么我们一步一步的来。1）繁体转简体繁体转成简体，通过blog得知了一种叫opencc的工具:由于是OS X的系统，参见，但是发现并没有安装brew，于是又去安装brew，兴致冲冲的点进homebrew安装，结果发现主页无法进去，无奈又开始寻找解决方法，百度之。百度排名第一的英文界面貌似可以解决。
百度brew效果图
然而点进去，依然无法找到网页，于是机智的我点了百度快照。
安装brew代码
接下来就是一路安装，完成OpenCC的安装后。执行命令：opencc -.text -.text.jian -c t2s.json2）分词中文不像英文一样，天生自带空格，于是就有了中文分词，在python中中文分词做的比较好的库是jieba分词库通过代码库的实例，于是写了分词脚本seperate_words.py.执行命令：python3 separate_words..text..text.jian.seq 得到了分好词的文件3）去除多余的其他字符最后通过python中自带的re库，使用正则表达式将其他字符去除，代码在remove_words.py执行命令：python3 separate_words..text.jian..text.jian.removed之后就和英文分词一样，通过train_word2vec_model.py 进行处理执行命令：python3 train_word2vec_model..text.jian.removed wiki.en.text.jian.model wiki.en.text.jian.vector.最后测试一下运行的效果：
中文wiki结果图（一）
中文wiki结果图（二）
中文wiki效果图（三）}