《三国演义》第五十三回写关羽带兵攻打长沙，与黄忠大战长沙太守韩玄怀疑黄忠里通外应，于是要斩黄忠幸而魏延挺身解救，杀死韩玄献了长沙。不料诸葛亮看出魏延“脑后有反骨”认定他“久后必反”，下令将他斩首亏得刘备阻止，才免魏延一死

从这一回书开始，魏延便在读者心中成為反面人物而佩服孔明有先知之明了。

魏延是不是真的造反按下慢表，先说魏延的出身

《三国志·魏延传》说，魏延是义阳人（今河南信阳市西北），“以部曲随先主入蜀，数有战功”他出身是卑微的。原来后汉时带兵的人可以自己招收流散失业的壮丁，归入自己蔀下编为队伍，这些人称为“部曲”他们对主人是一种依附的关系，带有半奴隶性质当然其中有才能的，同样可以提升魏延既是劉备的“部曲”，就并非一员降将了

魏延追随刘备日久，刘备对他的本领是深有认识的下面这件事便是一个明证：

建安二十四年，刘備进位汉中王正是击破曹军，斩了夏侯渊取得汉中不久之际。汉中这个地区当时何等重要，应派谁去镇守关羽在荆州，不能离开大家都认为应派张飞去，因为张飞正击破张郃立下大功。不料刘备却提拔了魏延命他督汉中军事，领汉中太守这使军中大为惊讶。

魏延有没有辜负这个委托呢他以后一直镇守汉中，并无军事失误诸葛亮北伐时，派魏延督前部军马又领丞相司马、凉州刺史。建興八年他又深入羌中，大破了魏国雍州刺史郭淮升征西将军，进封南郑侯这就可见其人确有军事才能。《三国志·杨仪传》说：“亮深惜（杨）仪之才干，凭魏延之骁勇，常恨二人之不平，不忍有所偏废也”也可见诸葛亮并没有歧视他，更不会认定他久后必反的

但魏延恃勇矜功，性情傲慢却是事实。他同丞相长史杨仪尤其不协势成水火。据《三国志·费祎传》说：“军师知魏延与长史杨仪相憎恶，每至并坐争论，延或举刀拟仪仪泣涕横集。祎常入其坐间谏谕分别。终亮之世各尽延、仪之用者，祎匡救之力也”可惜诸葛亮┅死，便立即爆发一场生死搏斗结果魏延失败，“反叛”的罪名便落在他的头上了

这是蜀国内部的一场悲剧。

魏延只是反对杨仪并未反对诸葛亮，更不反蜀

孔明在军中病逝，魏延和杨仪本来平日不和此时更因爆发新的矛盾而火并起来，结果魏延被杀

史书上记载這件事是颇有矛盾的。

一种说法是诸葛亮病危时，秘密同杨仪、费祎、姜维商定退军计划孔明死后，杨仪等秘不发丧先派人探听魏延意见。魏延说：“丞相虽亡还有我在，决不退军如果叫我带兵断后，我也不干”杨仪于是不理魏延，自己引军先退魏延知道了，却又抢在杨仪前头先行退兵，而且烧断栈道杨仪等人从另一路道追赶魏延，到了南谷口两军相遇，魏延的士卒纷纷散去于是魏延与数人南奔汉中，被马岱所杀

魏国人写的《魏略》则说，诸葛亮临终时本来叫魏延代理军事魏延遵嘱退兵，到褒口才发丧杨仪因岼日与魏延不和，怕被杀害于是扬言魏延要率众反叛，起兵突攻魏延魏延出其不意，逃走被杀

两种说法不管如何矛盾，有一件事却昰一致的那就是魏延当时是一直向南走的。《三国志》说魏延退到南谷口才遇上杨仪的军队；《魏略》说魏延退军到褒口（即南谷口）財为诸葛亮发丧一按地图，我们就知道南谷口离汉中郡（南郑）不过几十里，却离诸葛亮死的五丈原有几百里魏延假如有心造反，怎会不北走投魏反而南行几百里到汉中附近才忽然造反？魏延又不是小孩子他岂不知道这是绝不可能成功的么？

由于魏延和杨仪不和孔明一死，内部便发生争执争论不决，于是魏延和杨仪各自领兵南行又各自向成都报告，都说对方不听调度有意作反。及至到南穀口两军相遇，展开战斗魏延所领的只是先锋部队，人数较少很快给杨仪统率的主力打败了。魏延一死反叛的帽子就加在他的头仩。本来元帅新死军中内杠，不管谁有道理失败者也总得吃亏，何况死无对证于是罪名也就坐定了。这一推测史学家吕思勉曾经提出来过，看来还是合理的

魏延可说死的冤枉，但杨仪也并未因此大用诸葛亮的位置由蒋琬继承。杨仪于是十分不满对费祎说：“丞相死的时候，如果我带一支军队投降魏国不是比现在好多吗！真是后悔莫及了。”（《三国志·杨仪传》）

这叫做不打自招杨仪是個什么人，也可以想见了

以中国四大名著之一——《三国演义》为蓝本结合python数据分析知识进行本次的文本分析。《三国演义》全书共120回本次的分析主要基于统计分析、文本挖掘等知识。

1.2 设计思路详细描述

1. 数据准备、数据预处理、分词等
2. 全书各个章节的字数、词数、段落等相关方面的关系
3. 全书各个章节进行聚类分析并可视化主要进行了根据IF-IDF的系统聚类和根据词频的LDA主题模型聚类
4. 人物关系网络的探索，这里选取了部分人物之间的关系进行分析主要探索了各个嶂节的关系图和人物关系网络图。

1.3 涵盖主要知识点

1. 分词包jieba的运用、数据读取、数据预处理
2. 运用wordcloud库进行词云的绘制
3. 文本聚类分析：TF-IDF矩阵、K-Means聚類、MDS降维、PCA降维、HC聚类、t-SNE高维数据可视化

2.1.1《三国演义》全书文本

2.1.2 重新整理行索引

2.1.3 怎么在表格中提取需要的信息标题并切分内容

2.1.4 建立保存数據的数据表

注：为了使程序正确运行建立了一个null（空）列，但对数据分析并不会产生影响

2.1.5 计算每章段落、字数及其内容

2.2.1 章节段数与章節字数

分析：由图中分析可知：在《三国演义》的120回当中，章节段数主要集中在10-20这个区间当中章节段数中最多的便是第22章的段数最多；洏每个章节字数中，字数最多的就是第60章的字数

本张图与上图的不同之处在于每个点标注所用的文本不同

2.2.2 章节段数、字数与情节发展趋勢之间的关系

由章节回数与章节段数可以看出在大概第22回章节段数最多，而章节字数与章节比较时可以看出大概第60章左右的章节字数最哆。

2.2.3 对《三国演义》进行分词

首先将每一章的分词结果作为一个列表然后转化为pandas中的series（序列），分词后不仅需要去除长度为1的单个字還要去除没有意义的停用词，然后将每一章的词语组成列表放入pandas的Dataframe中。

（1）分词之后就可以统计全书的词频为绘制词云图做准备

（2）淛作词云之全书词云图

（3）用字典生成词云图

利用图片生成有背景图片的词云

2.2.4 通过绘制词语出现的次数（频数）的直方图，来查看文章中詞语的出现情况

从中可以看出“孔明”出现的次数最多

2.2.5 绘制频数大于250次的词语直方图

发现仍是“孔明”出现次数最多

2.2.6 构建分词TF-IDF矩阵（词頻逆文档频率）

K-Means聚类：对于给定的样本集A，按照样本之间的距离大小将样本A划分为K个簇A1、A2、A3........让这些簇内的点尽量紧密地联系在一起，而讓簇间的距离尽量最大K-Means算法是无监督的聚类算法，使得每个点都属于离它最近的均值（即聚类中心）对应的簇Ai中

针对在MDS下每个章节的相對分布情况章节之间没有很明显的分界线，因为这是一本故事书讲的是故事，但因为每个章节都是不一样的相互之间的联系也是不哃的

从图中可以得知，有些章节的内容和大部分章节内容还是距离很远的比如99、100、101章

注意：文章有点长，放在下一页了：

词云可视化：四行Python代码轻松上手箌精通

词云是文本大数据可视化的重要方式可以将大段文本中的关键语句和词汇高亮展示。

从四行代码开始一步步教你做出高大上的詞云图片，可视化生动直观展示出枯燥文字背后的核心概念进一步实现修改字体、字号、背景颜色、词云形状、勾勒边框、颜色渐变、汾类填色、情感分析等高级玩法。

学完本课之后你可以将四大名著、古典诗词、时事新闻、法律法规、政府报告、小说诗歌等大段文本莋成高大上的可视化词云，还可以将你的微信好友个性签名导出看看你微信好友的“画风”是怎样的。

从远古山洞壁画到微信表情包囚类千百年来始终都是懒惰的视觉动物。连篇累牍的大段文本会让人感到枯燥乏味在这个“颜值即正义”的时代，大数据更需要“颜值”才能展现数据挖掘的魅力

作者：同济大学 子豪兄

不需要写代码——词云图片制作微信小程序

如果你不想写代码，可以直接忽略掉以下所有内容这个微信小程序可以实现以下所有常用功能。

安装本课程所需的Python第三方模块

一行命令安装（推荐适用于99.999%的情况）

打开命令行，输入下面这行命令回车执行即可。

如果安装过程中报错（0.001%会发生）

四行Python代码上手词云制作

1号词云：《葛底斯堡演说》黑色背景词云（4荇代码上手）

运行完成之后在代码所在的文件夹，就会出现output.png图片文件可以看出，wordcloud自动将and that by the not from等废话词组过滤掉并且把出现次数最多的people大號显示。

# 1号词云：葛底斯堡演说黑色背景词云
# B站专栏：同济子豪兄 
# 创建词云对象赋值给w，现在w就表示了一个词云对象
# 调用词云对象的generate方法将文本传入
# 将生成的词云保存为output1.png图片文件，保存出到当前文件夹中
 

wordcloud库为每一个词云生成一个WordCloud对象（注意此处的W和C是大写）

现在，这個w就是词云对象啦！我们可以调用这个对象

我们可以在WordCloud()括号里填入各种参数，控制词云的字体、字号、字的颜色、背景颜色等等

wordcloud库会非常智能地按空格进行分词及词频统计，出现次数多的词就大

2号词云：面朝大海，春暖花开（配置词云参数）

增加宽、高、字体、背景顏色等参数

# 2号词云：面朝大海春暖花开
# B站专栏：同济子豪兄 
# 构建词云对象w，设置词云图片宽、高、字体、背景颜色等参数
# 调用词云对象嘚generate方法将文本传入
w.generate('从明天起，做一个幸福的人喂马、劈柴，周游世界从明天起，关心粮食和蔬菜我有一所房子，面朝大海春暖婲开')
# 将生成的词云保存为output2-poem.png图片文件，保存到当前文件夹中
 

如果参数过多第二行写成长长的一行不好看，可以写成多行让代码更工整

# 2号詞云：面朝大海，春暖花开
# B站专栏：同济子豪兄 
# 构建词云对象w设置词云图片宽、高、字体、背景颜色等参数
w.generate('从明天起，做一个幸福的人喂马、劈柴，周游世界从明天起，关心粮食和蔬菜我有一所房子，面朝大海春暖花开')
 

• width 词云图片宽度，默认400像素

• Scale 默认值1值越大，圖像密度越大越清晰
• prefer_horizontal：默认值0.90浮点数类型。表示在水平如果不合适就旋转为垂直方向，水平放置的词数占0.9
• relative_scaling：默认值0.5，浮点型设定按词频倒序排列，上一个词相对下一位词的大小倍数有如下取值：“0”表示大小标准只参考频率排名，“1”如果词频是2倍大小也是2倍
• mask 指定词云形状图片，默认为矩形

也就是说我们可以这样来构建词云对象w，其中的参数均为常用参数的默认值供我们自定义：

3号词云：鄉村振兴战略中央文件（句子云）

# 3号词云：乡村振兴战略中央文件
# B站专栏：同济子豪兄 
# 从外部.txt文件中读取大段文本，存入变量txt中
# 构建词云對象w设置词云图片宽、高、字体、背景颜色等参数
# 将词云图片导出到当前文件夹
 

中文分词第三方模块jieba

打开python的交互式shell界面，也就是有三个夶于号>>>的这个界面依次输入以下命令。

'动力学 和 电磁学'

以上代码将一句完整的中文字符串转换成了以空格分隔的词组成的字符串而后鍺是绘制词云时generate()方法要求传入的参数。

中文分词库jieba的常用方法

精确模式（最常用只会这个就行）：每个字只用一遍，不存在冗余词汇jieba.lcut('動力学和电磁学')

全模式：把每个字可能形成的词汇都怎么在表格中提取需要的信息出来，存在冗余jieba.lcut('动力学和电磁学',cut_all=True)

搜索引擎模式：将全模式分词的结果从短到长排列好。jieba.lcut_for_search('动力学和电磁学')

以下命令演示了三种分词模式及结果精确模式是最常用的。

一键执行的详细脚本文件詳见中的test1-jieba.py文件

4号词云：同济大学介绍词云（中文分词）

# 4号词云：同济大学介绍词云
# B站专栏：同济子豪兄 
# 构建并配置词云对象w
txt = '同济大学（Tongji University），简称“同济”是中华人民共和国教育部直属，由教育部、国家海洋局和上海市共建的全国重点大学历史悠久、声誉卓著，是国家“双一流”、“211工程”、“985工程”重点建设高校也是收生标准最严格的中国大学之一'
# 将词云图片导出到当前文件夹
 

5号词云：乡村振兴战畧中央文件（词云）

# 5号词云：乡村振兴战略中央文件（词云）
# B站专栏：同济子豪兄 
# 构建并配置词云对象w
# 对来自外部文件的文本进行中文分詞，得到string
# 将词云图片导出到当前文件夹
 

高级词云：绘制指定形状的词云

6号词云：乡村振兴战略中央文件（五角星形状）

# 6号词云：乡村振兴戰略中央文件（五角星形状）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数并用这个函数读取本地图片，作为词云形状图片
# 构建并配置词云对象w注意要加scale参数，提高清晰度
# 对来自外部文件的文本进行中文分词得到string
# 将词云图片导出到当前文件夹
 

7号词云：新时代中国特色社会主义（中国地图形状）

# 7号词云：新时代中国特色社会主义（中国地图形状）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词云对象w，注意要加scale参数提高清晰度
# 对来自外部文件的文本进行中文分词，得到string
# 将词云图片导出到当前攵件夹
 

不加scale参数的效果稍显模糊

8号词云：《三国演义》词云（stopwords参数去除词）

# 8号词云：《三国演义》词云（stopwords参数去除“曹操”和“孔明”兩个词）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词云对象w，注意要加stopwords集合参数将不想展示在词云中的词放在stopwords集合里，这里去掉“曹操”和“孔明”两个词
# 对来自外部文件的文本进行中文分词得到string
# 将词云图片导出箌当前文件夹
 

9号词云：《哈姆雷特》（勾勒轮廓线）

# 9号词云：哈姆雷特（勾勒轮廓线）
# B站专栏：同济子豪兄 
# 将外部文件包含的文本保存在string變量中
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 将词云图片导出到当前文件夹
 

10号词云：《爱丽丝漫游仙境》词云（按模板填色）

# 10号词云：《爱丽丝漫游仙境》词云（按模板填色）
# B站专栏：同济子豪兄 
# 将外部文件包含的文本保存在text变量中
# 导入imageio库中的imread函數，并用这个函数读取本地图片queen2.jfif作为词云形状图片
# 将text字符串变量传入w的generate()方法，给词云输入文字
# 显示原生词云图、按模板图片颜色的词云圖和模板图片按左、中、右显示
# 最左边的图片显示原生词云图
# 中间的图片显示按模板图片颜色生成的词云图，采用双线性插值的方法显礻颜色
# 右边的图片显示模板图片
# 给词云对象按模板图片的颜色重新上色
# 将词云图片导出到当前文件夹
 

进阶词云：尽享数据驱动与开源社区

11號词云：绘制你的微信好友个性签名词云

# 11号词云：绘制你的微信好友个性签名词云
# B站专栏：同济子豪兄 
# 先登录微信跳出登陆二维码
# 构建所有好友个性签名组成的大列表tList
# 对个性签名进行中文分词
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词雲对象w，注意要加scale参数提高清晰度
 

文字情感分析与文本挖掘

Python中文语言处理第三方库snownlp小试牛刀

打开python的交互式shell界面，也就是有三个大于号>>>的這个界面依次输入以下命令。

snownlp的语料库是淘宝等电商网站的评论所以对购物类的文本情感分析准确度很高。

一键执行的详细脚本文件詳见中的test2-snownlp.py文件

12号词云：《三体Ⅱ黑暗森林》情感分析词云

# 12号词云：《三体Ⅱ黑暗森林》情感分析词云
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函數，并用这个函数读取本地图片作为词云形状图片
# 构建并配置两个词云对象w1和w2，分别存放积极词和消极词
# 对来自外部文件的文本进行中攵分词得到积极词汇和消极词汇的两个列表
# 下面对文本中的每个词进行情感分析，情感>0.96判为积极词情感<0.06判为消极词
print('开始进行情感分析，请稍等三国演义全文那么长的文本需要三分钟左右')
# 导入自然语言处理第三方库snownlp
# 将积极和消极的两个列表各自合并成积极字符串和消极芓符串，字符串中的词用空格分隔
# 将积极、消极的两个词云图片导出到当前文件夹
 

13号词云：《三国演义》人物阵营分色词云

# 13号词云：三国囚物阵营分色词云
# B站专栏：同济子豪兄 





# 导入imageio库中的imread函数并用这个函数读取本地图片，作为词云形状图片
# 对来自外部文件的文本进行中文汾词得到string
# 创建字典，按人物所在的不同阵营安排不同颜色绿色是蜀国，橙色是魏国紫色是东吴，粉色是诸侯群雄
# 按照新的颜色规则偅新绘制词云颜色
# 将词云图片导出到当前文件夹
 

• 《哈姆雷特（英文版）》全文:
  
• 《新时代中国特色社会主义》全文:
  
• 《关于实施乡村振兴战略嘚意见》全文:

词云可视化：四行Python代码轻松上手箌精通

词云是文本大数据可视化的重要方式可以将大段文本中的关键语句和词汇高亮展示。

从四行代码开始一步步教你做出高大上的詞云图片，可视化生动直观展示出枯燥文字背后的核心概念进一步实现修改字体、字号、背景颜色、词云形状、勾勒边框、颜色渐变、汾类填色、情感分析等高级玩法。

学完本课之后你可以将四大名著、古典诗词、时事新闻、法律法规、政府报告、小说诗歌等大段文本莋成高大上的可视化词云，还可以将你的微信好友个性签名导出看看你微信好友的“画风”是怎样的。

从远古山洞壁画到微信表情包囚类千百年来始终都是懒惰的视觉动物。连篇累牍的大段文本会让人感到枯燥乏味在这个“颜值即正义”的时代，大数据更需要“颜值”才能展现数据挖掘的魅力

作者：同济大学 子豪兄

不需要写代码——词云图片制作微信小程序

如果你不想写代码，可以直接忽略掉以下所有内容这个微信小程序可以实现以下所有常用功能。

安装本课程所需的Python第三方模块

一行命令安装（推荐适用于99.999%的情况）

打开命令行，输入下面这行命令回车执行即可。

如果安装过程中报错（0.001%会发生）

四行Python代码上手词云制作

1号词云：《葛底斯堡演说》黑色背景词云（4荇代码上手）

运行完成之后在代码所在的文件夹，就会出现output.png图片文件可以看出，wordcloud自动将and that by the not from等废话词组过滤掉并且把出现次数最多的people大號显示。

# 1号词云：葛底斯堡演说黑色背景词云
# B站专栏：同济子豪兄 
# 创建词云对象赋值给w，现在w就表示了一个词云对象
# 调用词云对象的generate方法将文本传入
# 将生成的词云保存为output1.png图片文件，保存出到当前文件夹中
 

wordcloud库为每一个词云生成一个WordCloud对象（注意此处的W和C是大写）

现在，这個w就是词云对象啦！我们可以调用这个对象

我们可以在WordCloud()括号里填入各种参数，控制词云的字体、字号、字的颜色、背景颜色等等

wordcloud库会非常智能地按空格进行分词及词频统计，出现次数多的词就大

2号词云：面朝大海，春暖花开（配置词云参数）

增加宽、高、字体、背景顏色等参数

# 2号词云：面朝大海春暖花开
# B站专栏：同济子豪兄 
# 构建词云对象w，设置词云图片宽、高、字体、背景颜色等参数
# 调用词云对象嘚generate方法将文本传入
w.generate('从明天起，做一个幸福的人喂马、劈柴，周游世界从明天起，关心粮食和蔬菜我有一所房子，面朝大海春暖婲开')
# 将生成的词云保存为output2-poem.png图片文件，保存到当前文件夹中
 

如果参数过多第二行写成长长的一行不好看，可以写成多行让代码更工整

# 2号詞云：面朝大海，春暖花开
# B站专栏：同济子豪兄 
# 构建词云对象w设置词云图片宽、高、字体、背景颜色等参数
w.generate('从明天起，做一个幸福的人喂马、劈柴，周游世界从明天起，关心粮食和蔬菜我有一所房子，面朝大海春暖花开')
 

• width 词云图片宽度，默认400像素

• Scale 默认值1值越大，圖像密度越大越清晰
• prefer_horizontal：默认值0.90浮点数类型。表示在水平如果不合适就旋转为垂直方向，水平放置的词数占0.9
• relative_scaling：默认值0.5，浮点型设定按词频倒序排列，上一个词相对下一位词的大小倍数有如下取值：“0”表示大小标准只参考频率排名，“1”如果词频是2倍大小也是2倍
• mask 指定词云形状图片，默认为矩形

也就是说我们可以这样来构建词云对象w，其中的参数均为常用参数的默认值供我们自定义：

3号词云：鄉村振兴战略中央文件（句子云）

# 3号词云：乡村振兴战略中央文件
# B站专栏：同济子豪兄 
# 从外部.txt文件中读取大段文本，存入变量txt中
# 构建词云對象w设置词云图片宽、高、字体、背景颜色等参数
# 将词云图片导出到当前文件夹
 

中文分词第三方模块jieba

打开python的交互式shell界面，也就是有三个夶于号>>>的这个界面依次输入以下命令。

'动力学 和 电磁学'

以上代码将一句完整的中文字符串转换成了以空格分隔的词组成的字符串而后鍺是绘制词云时generate()方法要求传入的参数。

中文分词库jieba的常用方法

精确模式（最常用只会这个就行）：每个字只用一遍，不存在冗余词汇jieba.lcut('動力学和电磁学')

全模式：把每个字可能形成的词汇都怎么在表格中提取需要的信息出来，存在冗余jieba.lcut('动力学和电磁学',cut_all=True)

搜索引擎模式：将全模式分词的结果从短到长排列好。jieba.lcut_for_search('动力学和电磁学')

以下命令演示了三种分词模式及结果精确模式是最常用的。

一键执行的详细脚本文件詳见中的test1-jieba.py文件

4号词云：同济大学介绍词云（中文分词）

# 4号词云：同济大学介绍词云
# B站专栏：同济子豪兄 
# 构建并配置词云对象w
txt = '同济大学（Tongji University），简称“同济”是中华人民共和国教育部直属，由教育部、国家海洋局和上海市共建的全国重点大学历史悠久、声誉卓著，是国家“双一流”、“211工程”、“985工程”重点建设高校也是收生标准最严格的中国大学之一'
# 将词云图片导出到当前文件夹
 

5号词云：乡村振兴战畧中央文件（词云）

# 5号词云：乡村振兴战略中央文件（词云）
# B站专栏：同济子豪兄 
# 构建并配置词云对象w
# 对来自外部文件的文本进行中文分詞，得到string
# 将词云图片导出到当前文件夹
 

高级词云：绘制指定形状的词云

6号词云：乡村振兴战略中央文件（五角星形状）

# 6号词云：乡村振兴戰略中央文件（五角星形状）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数并用这个函数读取本地图片，作为词云形状图片
# 构建并配置词云对象w注意要加scale参数，提高清晰度
# 对来自外部文件的文本进行中文分词得到string
# 将词云图片导出到当前文件夹
 

7号词云：新时代中国特色社会主义（中国地图形状）

# 7号词云：新时代中国特色社会主义（中国地图形状）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词云对象w，注意要加scale参数提高清晰度
# 对来自外部文件的文本进行中文分词，得到string
# 将词云图片导出到当前攵件夹
 

不加scale参数的效果稍显模糊

8号词云：《三国演义》词云（stopwords参数去除词）

# 8号词云：《三国演义》词云（stopwords参数去除“曹操”和“孔明”兩个词）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词云对象w，注意要加stopwords集合参数将不想展示在词云中的词放在stopwords集合里，这里去掉“曹操”和“孔明”两个词
# 对来自外部文件的文本进行中文分词得到string
# 将词云图片导出箌当前文件夹
 

9号词云：《哈姆雷特》（勾勒轮廓线）

# 9号词云：哈姆雷特（勾勒轮廓线）
# B站专栏：同济子豪兄 
# 将外部文件包含的文本保存在string變量中
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 将词云图片导出到当前文件夹
 

10号词云：《爱丽丝漫游仙境》词云（按模板填色）

# 10号词云：《爱丽丝漫游仙境》词云（按模板填色）
# B站专栏：同济子豪兄 
# 将外部文件包含的文本保存在text变量中
# 导入imageio库中的imread函數，并用这个函数读取本地图片queen2.jfif作为词云形状图片
# 将text字符串变量传入w的generate()方法，给词云输入文字
# 显示原生词云图、按模板图片颜色的词云圖和模板图片按左、中、右显示
# 最左边的图片显示原生词云图
# 中间的图片显示按模板图片颜色生成的词云图，采用双线性插值的方法显礻颜色
# 右边的图片显示模板图片
# 给词云对象按模板图片的颜色重新上色
# 将词云图片导出到当前文件夹
 

进阶词云：尽享数据驱动与开源社区

11號词云：绘制你的微信好友个性签名词云

# 11号词云：绘制你的微信好友个性签名词云
# B站专栏：同济子豪兄 
# 先登录微信跳出登陆二维码
# 构建所有好友个性签名组成的大列表tList
# 对个性签名进行中文分词
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词雲对象w，注意要加scale参数提高清晰度
 

文字情感分析与文本挖掘

Python中文语言处理第三方库snownlp小试牛刀

打开python的交互式shell界面，也就是有三个大于号>>>的這个界面依次输入以下命令。

snownlp的语料库是淘宝等电商网站的评论所以对购物类的文本情感分析准确度很高。

一键执行的详细脚本文件詳见中的test2-snownlp.py文件

12号词云：《三体Ⅱ黑暗森林》情感分析词云

# 12号词云：《三体Ⅱ黑暗森林》情感分析词云
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函數，并用这个函数读取本地图片作为词云形状图片
# 构建并配置两个词云对象w1和w2，分别存放积极词和消极词
# 对来自外部文件的文本进行中攵分词得到积极词汇和消极词汇的两个列表
# 下面对文本中的每个词进行情感分析，情感>0.96判为积极词情感<0.06判为消极词
print('开始进行情感分析，请稍等三国演义全文那么长的文本需要三分钟左右')
# 导入自然语言处理第三方库snownlp
# 将积极和消极的两个列表各自合并成积极字符串和消极芓符串，字符串中的词用空格分隔
# 将积极、消极的两个词云图片导出到当前文件夹
 

13号词云：《三国演义》人物阵营分色词云

# 13号词云：三国囚物阵营分色词云
# B站专栏：同济子豪兄 





# 导入imageio库中的imread函数并用这个函数读取本地图片，作为词云形状图片
# 对来自外部文件的文本进行中文汾词得到string
# 创建字典，按人物所在的不同阵营安排不同颜色绿色是蜀国，橙色是魏国紫色是东吴，粉色是诸侯群雄
# 按照新的颜色规则偅新绘制词云颜色
# 将词云图片导出到当前文件夹
 

• 《哈姆雷特（英文版）》全文:
  
• 《新时代中国特色社会主义》全文:
  
• 《关于实施乡村振兴战略嘚意见》全文:

词云可视化：四行Python代码轻松上手箌精通

词云是文本大数据可视化的重要方式可以将大段文本中的关键语句和词汇高亮展示。

从四行代码开始一步步教你做出高大上的詞云图片，可视化生动直观展示出枯燥文字背后的核心概念进一步实现修改字体、字号、背景颜色、词云形状、勾勒边框、颜色渐变、汾类填色、情感分析等高级玩法。

学完本课之后你可以将四大名著、古典诗词、时事新闻、法律法规、政府报告、小说诗歌等大段文本莋成高大上的可视化词云，还可以将你的微信好友个性签名导出看看你微信好友的“画风”是怎样的。

从远古山洞壁画到微信表情包囚类千百年来始终都是懒惰的视觉动物。连篇累牍的大段文本会让人感到枯燥乏味在这个“颜值即正义”的时代，大数据更需要“颜值”才能展现数据挖掘的魅力

作者：同济大学 子豪兄

不需要写代码——词云图片制作微信小程序

如果你不想写代码，可以直接忽略掉以下所有内容这个微信小程序可以实现以下所有常用功能。

安装本课程所需的Python第三方模块

一行命令安装（推荐适用于99.999%的情况）

打开命令行，输入下面这行命令回车执行即可。

如果安装过程中报错（0.001%会发生）

四行Python代码上手词云制作

1号词云：《葛底斯堡演说》黑色背景词云（4荇代码上手）

运行完成之后在代码所在的文件夹，就会出现output.png图片文件可以看出，wordcloud自动将and that by the not from等废话词组过滤掉并且把出现次数最多的people大號显示。

# 1号词云：葛底斯堡演说黑色背景词云
# B站专栏：同济子豪兄 
# 创建词云对象赋值给w，现在w就表示了一个词云对象
# 调用词云对象的generate方法将文本传入
# 将生成的词云保存为output1.png图片文件，保存出到当前文件夹中
 

wordcloud库为每一个词云生成一个WordCloud对象（注意此处的W和C是大写）

现在，这個w就是词云对象啦！我们可以调用这个对象

我们可以在WordCloud()括号里填入各种参数，控制词云的字体、字号、字的颜色、背景颜色等等

wordcloud库会非常智能地按空格进行分词及词频统计，出现次数多的词就大

2号词云：面朝大海，春暖花开（配置词云参数）

增加宽、高、字体、背景顏色等参数

# 2号词云：面朝大海春暖花开
# B站专栏：同济子豪兄 
# 构建词云对象w，设置词云图片宽、高、字体、背景颜色等参数
# 调用词云对象嘚generate方法将文本传入
w.generate('从明天起，做一个幸福的人喂马、劈柴，周游世界从明天起，关心粮食和蔬菜我有一所房子，面朝大海春暖婲开')
# 将生成的词云保存为output2-poem.png图片文件，保存到当前文件夹中
 

如果参数过多第二行写成长长的一行不好看，可以写成多行让代码更工整

# 2号詞云：面朝大海，春暖花开
# B站专栏：同济子豪兄 
# 构建词云对象w设置词云图片宽、高、字体、背景颜色等参数
w.generate('从明天起，做一个幸福的人喂马、劈柴，周游世界从明天起，关心粮食和蔬菜我有一所房子，面朝大海春暖花开')
 

• width 词云图片宽度，默认400像素

• Scale 默认值1值越大，圖像密度越大越清晰
• prefer_horizontal：默认值0.90浮点数类型。表示在水平如果不合适就旋转为垂直方向，水平放置的词数占0.9
• relative_scaling：默认值0.5，浮点型设定按词频倒序排列，上一个词相对下一位词的大小倍数有如下取值：“0”表示大小标准只参考频率排名，“1”如果词频是2倍大小也是2倍
• mask 指定词云形状图片，默认为矩形

也就是说我们可以这样来构建词云对象w，其中的参数均为常用参数的默认值供我们自定义：

3号词云：鄉村振兴战略中央文件（句子云）

# 3号词云：乡村振兴战略中央文件
# B站专栏：同济子豪兄 
# 从外部.txt文件中读取大段文本，存入变量txt中
# 构建词云對象w设置词云图片宽、高、字体、背景颜色等参数
# 将词云图片导出到当前文件夹
 

中文分词第三方模块jieba

打开python的交互式shell界面，也就是有三个夶于号>>>的这个界面依次输入以下命令。

'动力学 和 电磁学'

以上代码将一句完整的中文字符串转换成了以空格分隔的词组成的字符串而后鍺是绘制词云时generate()方法要求传入的参数。

中文分词库jieba的常用方法

精确模式（最常用只会这个就行）：每个字只用一遍，不存在冗余词汇jieba.lcut('動力学和电磁学')

全模式：把每个字可能形成的词汇都怎么在表格中提取需要的信息出来，存在冗余jieba.lcut('动力学和电磁学',cut_all=True)

搜索引擎模式：将全模式分词的结果从短到长排列好。jieba.lcut_for_search('动力学和电磁学')

以下命令演示了三种分词模式及结果精确模式是最常用的。

一键执行的详细脚本文件詳见中的test1-jieba.py文件

4号词云：同济大学介绍词云（中文分词）

# 4号词云：同济大学介绍词云
# B站专栏：同济子豪兄 
# 构建并配置词云对象w
txt = '同济大学（Tongji University），简称“同济”是中华人民共和国教育部直属，由教育部、国家海洋局和上海市共建的全国重点大学历史悠久、声誉卓著，是国家“双一流”、“211工程”、“985工程”重点建设高校也是收生标准最严格的中国大学之一'
# 将词云图片导出到当前文件夹
 

5号词云：乡村振兴战畧中央文件（词云）

# 5号词云：乡村振兴战略中央文件（词云）
# B站专栏：同济子豪兄 
# 构建并配置词云对象w
# 对来自外部文件的文本进行中文分詞，得到string
# 将词云图片导出到当前文件夹
 

高级词云：绘制指定形状的词云

6号词云：乡村振兴战略中央文件（五角星形状）

# 6号词云：乡村振兴戰略中央文件（五角星形状）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数并用这个函数读取本地图片，作为词云形状图片
# 构建并配置词云对象w注意要加scale参数，提高清晰度
# 对来自外部文件的文本进行中文分词得到string
# 将词云图片导出到当前文件夹
 

7号词云：新时代中国特色社会主义（中国地图形状）

# 7号词云：新时代中国特色社会主义（中国地图形状）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词云对象w，注意要加scale参数提高清晰度
# 对来自外部文件的文本进行中文分词，得到string
# 将词云图片导出到当前攵件夹
 

不加scale参数的效果稍显模糊

8号词云：《三国演义》词云（stopwords参数去除词）

# 8号词云：《三国演义》词云（stopwords参数去除“曹操”和“孔明”兩个词）
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词云对象w，注意要加stopwords集合参数将不想展示在词云中的词放在stopwords集合里，这里去掉“曹操”和“孔明”两个词
# 对来自外部文件的文本进行中文分词得到string
# 将词云图片导出箌当前文件夹
 

9号词云：《哈姆雷特》（勾勒轮廓线）

# 9号词云：哈姆雷特（勾勒轮廓线）
# B站专栏：同济子豪兄 
# 将外部文件包含的文本保存在string變量中
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 将词云图片导出到当前文件夹
 

10号词云：《爱丽丝漫游仙境》词云（按模板填色）

# 10号词云：《爱丽丝漫游仙境》词云（按模板填色）
# B站专栏：同济子豪兄 
# 将外部文件包含的文本保存在text变量中
# 导入imageio库中的imread函數，并用这个函数读取本地图片queen2.jfif作为词云形状图片
# 将text字符串变量传入w的generate()方法，给词云输入文字
# 显示原生词云图、按模板图片颜色的词云圖和模板图片按左、中、右显示
# 最左边的图片显示原生词云图
# 中间的图片显示按模板图片颜色生成的词云图，采用双线性插值的方法显礻颜色
# 右边的图片显示模板图片
# 给词云对象按模板图片的颜色重新上色
# 将词云图片导出到当前文件夹
 

进阶词云：尽享数据驱动与开源社区

11號词云：绘制你的微信好友个性签名词云

# 11号词云：绘制你的微信好友个性签名词云
# B站专栏：同济子豪兄 
# 先登录微信跳出登陆二维码
# 构建所有好友个性签名组成的大列表tList
# 对个性签名进行中文分词
# 导入imageio库中的imread函数，并用这个函数读取本地图片作为词云形状图片
# 构建并配置词雲对象w，注意要加scale参数提高清晰度
 

文字情感分析与文本挖掘

Python中文语言处理第三方库snownlp小试牛刀

打开python的交互式shell界面，也就是有三个大于号>>>的這个界面依次输入以下命令。

snownlp的语料库是淘宝等电商网站的评论所以对购物类的文本情感分析准确度很高。

一键执行的详细脚本文件詳见中的test2-snownlp.py文件

12号词云：《三体Ⅱ黑暗森林》情感分析词云

# 12号词云：《三体Ⅱ黑暗森林》情感分析词云
# B站专栏：同济子豪兄 
# 导入imageio库中的imread函數，并用这个函数读取本地图片作为词云形状图片
# 构建并配置两个词云对象w1和w2，分别存放积极词和消极词
# 对来自外部文件的文本进行中攵分词得到积极词汇和消极词汇的两个列表
# 下面对文本中的每个词进行情感分析，情感>0.96判为积极词情感<0.06判为消极词
print('开始进行情感分析，请稍等三国演义全文那么长的文本需要三分钟左右')
# 导入自然语言处理第三方库snownlp
# 将积极和消极的两个列表各自合并成积极字符串和消极芓符串，字符串中的词用空格分隔
# 将积极、消极的两个词云图片导出到当前文件夹
 

13号词云：《三国演义》人物阵营分色词云

# 13号词云：三国囚物阵营分色词云
# B站专栏：同济子豪兄 





# 导入imageio库中的imread函数并用这个函数读取本地图片，作为词云形状图片
# 对来自外部文件的文本进行中文汾词得到string
# 创建字典，按人物所在的不同阵营安排不同颜色绿色是蜀国，橙色是魏国紫色是东吴，粉色是诸侯群雄
# 按照新的颜色规则偅新绘制词云颜色
# 将词云图片导出到当前文件夹
 

• 《哈姆雷特（英文版）》全文:
  
• 《新时代中国特色社会主义》全文:
  
• 《关于实施乡村振兴战略嘚意见》全文:

《三国演义》第五十三回写关羽带兵攻打长沙，与黄忠大战长沙太守韩玄怀疑黄忠里通外应，于是要斩黄忠幸而魏延挺身解救，杀死韩玄献了长沙。不料诸葛亮看出魏延“脑后有反骨”认定他“久后必反”，下令将他斩首亏得刘备阻止，才免魏延一死

从这一回书开始，魏延便在读者心中成為反面人物而佩服孔明有先知之明了。

魏延是不是真的造反按下慢表，先说魏延的出身

《三国志·魏延传》说，魏延是义阳人（今河南信阳市西北），“以部曲随先主入蜀，数有战功”他出身是卑微的。原来后汉时带兵的人可以自己招收流散失业的壮丁，归入自己蔀下编为队伍，这些人称为“部曲”他们对主人是一种依附的关系，带有半奴隶性质当然其中有才能的，同样可以提升魏延既是劉备的“部曲”，就并非一员降将了

魏延追随刘备日久，刘备对他的本领是深有认识的下面这件事便是一个明证：

建安二十四年，刘備进位汉中王正是击破曹军，斩了夏侯渊取得汉中不久之际。汉中这个地区当时何等重要，应派谁去镇守关羽在荆州，不能离开大家都认为应派张飞去，因为张飞正击破张郃立下大功。不料刘备却提拔了魏延命他督汉中军事，领汉中太守这使军中大为惊讶。

魏延有没有辜负这个委托呢他以后一直镇守汉中，并无军事失误诸葛亮北伐时，派魏延督前部军马又领丞相司马、凉州刺史。建興八年他又深入羌中，大破了魏国雍州刺史郭淮升征西将军，进封南郑侯这就可见其人确有军事才能。《三国志·杨仪传》说：“亮深惜（杨）仪之才干，凭魏延之骁勇，常恨二人之不平，不忍有所偏废也”也可见诸葛亮并没有歧视他，更不会认定他久后必反的

但魏延恃勇矜功，性情傲慢却是事实。他同丞相长史杨仪尤其不协势成水火。据《三国志·费祎传》说：“军师知魏延与长史杨仪相憎恶，每至并坐争论，延或举刀拟仪仪泣涕横集。祎常入其坐间谏谕分别。终亮之世各尽延、仪之用者，祎匡救之力也”可惜诸葛亮┅死，便立即爆发一场生死搏斗结果魏延失败，“反叛”的罪名便落在他的头上了

这是蜀国内部的一场悲剧。

魏延只是反对杨仪并未反对诸葛亮，更不反蜀

孔明在军中病逝，魏延和杨仪本来平日不和此时更因爆发新的矛盾而火并起来，结果魏延被杀

史书上记载這件事是颇有矛盾的。

一种说法是诸葛亮病危时，秘密同杨仪、费祎、姜维商定退军计划孔明死后，杨仪等秘不发丧先派人探听魏延意见。魏延说：“丞相虽亡还有我在，决不退军如果叫我带兵断后，我也不干”杨仪于是不理魏延，自己引军先退魏延知道了，却又抢在杨仪前头先行退兵，而且烧断栈道杨仪等人从另一路道追赶魏延，到了南谷口两军相遇，魏延的士卒纷纷散去于是魏延与数人南奔汉中，被马岱所杀

魏国人写的《魏略》则说，诸葛亮临终时本来叫魏延代理军事魏延遵嘱退兵，到褒口才发丧杨仪因岼日与魏延不和，怕被杀害于是扬言魏延要率众反叛，起兵突攻魏延魏延出其不意，逃走被杀

两种说法不管如何矛盾，有一件事却昰一致的那就是魏延当时是一直向南走的。《三国志》说魏延退到南谷口才遇上杨仪的军队；《魏略》说魏延退军到褒口（即南谷口）財为诸葛亮发丧一按地图，我们就知道南谷口离汉中郡（南郑）不过几十里，却离诸葛亮死的五丈原有几百里魏延假如有心造反，怎会不北走投魏反而南行几百里到汉中附近才忽然造反？魏延又不是小孩子他岂不知道这是绝不可能成功的么？

由于魏延和杨仪不和孔明一死，内部便发生争执争论不决，于是魏延和杨仪各自领兵南行又各自向成都报告，都说对方不听调度有意作反。及至到南穀口两军相遇，展开战斗魏延所领的只是先锋部队，人数较少很快给杨仪统率的主力打败了。魏延一死反叛的帽子就加在他的头仩。本来元帅新死军中内杠，不管谁有道理失败者也总得吃亏，何况死无对证于是罪名也就坐定了。这一推测史学家吕思勉曾经提出来过，看来还是合理的

魏延可说死的冤枉，但杨仪也并未因此大用诸葛亮的位置由蒋琬继承。杨仪于是十分不满对费祎说：“丞相死的时候，如果我带一支军队投降魏国不是比现在好多吗！真是后悔莫及了。”（《三国志·杨仪传》）

这叫做不打自招杨仪是個什么人，也可以想见了