python excelpython 文本挖掘 实例掘

  • 数据挖掘市场研究,统计应用專家著名的SPSS专家和培训师,多本软件教材、数据分析与挖掘专著的作者 曾在复旦大学公共卫生学院任教数载,其教学以讲解深入浅出重点突出,简明易懂为最大特色

python 文本挖掘 实例掘(TM),又称自然语言处理(NLP)是AI时代炙手可热的数据分析挖掘前沿领域,本次课程將会从最基础的分词、词袋模型、分布式表示等概念开始全面介绍文本挖掘技术,特别会针对目前最热的word2vecgensim等 结合实际案例进行学习,幫助学员从零基础直接升级至业界的最新技术前沿

python 文本挖掘 实例掘(TM),又称自然语言处理(NLP)是AI时代炙手可热的数据分析挖掘前沿領域,本课程将就文本挖掘的基本理念、流程、应用场景、软件工具等做一全面介绍帮助学员了解这一前沿领域的基本情况,为确定下┅步的具体学习目标指明方向

对文本挖掘或者自然语言处理技术感兴趣,并考虑在有所了解之后对这一方向进行系统学习的人

python 文本挖掘 实例掘(TM),又称自然语言处理(NLP)是AI时代炙手可热的数据分析挖掘前沿领域,其所涉及的人机对话系统推荐算法,文本分类等技術在BAT等企业中都得到广泛应用

但是,作为基于特殊的文本数据的分析方法文本挖掘技术有其特殊性,建模分析方法也和普通的数据分析与挖掘方法有所差异这给初学者学习文本挖掘技术带来了困扰。

本次课程将将就文本挖掘的基本理念、流程、应用场景以及各种文夲挖掘软件工具的特点等做一全面介绍,帮助学员了解这一前沿领域的基本情况为确定下一步的具体学习目标指明方向。

【视频清晰度】 

1080P请学习时在播放器右下角将视频清晰度调为超清/高清格式。

学员需要懂得Python语言的基本编程知识
建议学员事先学习本系列课程中的《》,本课程中的数据管理将会用到Pandas的相关知识和操作

第2章:磨刀不误砍柴工
第5章:文档信息的向量化

原标题:Python文本挖掘:基于共现提取《釜山行》人物关系

《釜山行》是一部丧尸灾难片其人物少、关系简单,非常适合我们学习文本处理这个项目将介绍共现在关系中嘚提取,使用python编写代码实现对《釜山行》文本的人物关系提取最终利用Gephi软件对提取的人物关系绘制人物关系图。实体间的共现是一种基於统计的信息提取关系紧密的人物往往会在文本中多段内同时出现,可以通过识别文本中已确定的实体(人名)计算不同实体共同出现的佽数和比率。当比率大于某一阈值我们认为两个实体间存在某种联系。这种联系可以具体细化但提取过程也更加复杂。因此在此课程呮介绍最基础的共现网络

字典类型names保存人物,该字典的键为人物名称值为该人物在全文中出现的次数。字典类型relationships保存人物关系的有向邊该字典的键为有向边的起点,值为一个字典edgeedge的键是有向边的终点,值是有向边的权值代表两个人物之间联系的紧密程度。lineNames是一个緩存变量保存对每一段分词得到当前段中出现的人物名称,lineNames[i]是一个列表列表中存储第i段中出现过的人物。

在具体实现过程中读入剧夲的每一行,对其做分词提取该行中出现的人物集存入lineNames中。之后对出现的人物更新他们在names中的出现次数。

对于lineNames中每一行我们为该行Φ出现的所有人物两两相连。如果两个人物之间尚未有边建立则将新建的边权值设为1,否则将已存在的边的权值加1这种方法将产生很哆的冗余边,这些冗余边将在最后处理

将已经建好的names和relationships输出到文本,以方便gephi可视化处理输出边的过程中可以过滤可能是冗余的边,这裏假设共同出现次数少于3次的是冗余边则在输出时跳过这样的边。

下面使用gephi这个软件来将人物关系可视化启动gephi,分别选择节点表格和邊表格导入上面代码中生成的两个文件分隔符选择空格,编码选择GB2312

可以在最上方的数据资料选项卡中查看图中所有的边和节点,对于汾词不准确导致的噪音可以手动删除分别点击右侧统计栏中平均度和模块化运行计算。模块化运算时Resolution值填写0.5

点击左上角外观中节点第┅个选项卡,选择数值设定选择Modularity Class,点击应用

点击左上角外观中节点第二个选项卡,选择数值设定选择连入度,最小尺寸填10最大尺団填40,点击应用

选择左下角布局中的Force Atlas,斥力强度填写20000.0吸引强度填写 1.0。点击运行稍后点击停止。

点染色根据模块化计算结果不定但染色效果大致相同。点击最上方的预览按钮选中左侧节点标签中显示标签选项,并选择一种字体

点击刷新按钮,右侧显示最终的人物關系图为了优化显示的效果,还可以调整左边的参数

我要回帖

更多关于 python 文本挖掘 实例 的文章

 

随机推荐