请教python 结巴分词分词用什么好

来源：蜘蛛抓取(WebSpider) 时间：2016-08-19 10:56 标签： python 分词
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
您的访问请求被拒绝 403 Forbidden - ITeye技术社区
您的访问请求被拒绝
亲爱的会员，您的IP地址所在网段被ITeye拒绝服务，这可能是以下两种情况导致：
一、您所在的网段内有网络爬虫大量抓取ITeye网页，为保证其他人流畅的访问ITeye，该网段被ITeye拒绝
二、您通过某个代理服务器访问ITeye网站，该代理服务器被网络爬虫利用，大量抓取ITeye网页
请您点击按钮解除封锁&，我在之前的文章已经讲到过，今天给大家分享的一些知识。说到分词，如果是做GOOGLE的朋友，那用python分词很简单，可以直接根据空格来分词，或者有相关的nltk模块来处理。中文分词的话，就比较麻烦，因为不能通过空格来分词，并且分词还得考虑语义问题等。下面列出几个比较好的中文分词：我用的比较多的是结巴分词，下面详细介绍下：1 jieba 支持三种分词模式：&&&&& 精确模式，试图将句子最精确地切开，适合文本分析；&&&&& 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；&&&&& 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。&&&&& 并且有5个功能：1分词 2添加自定义词典 3 关键词提取 4 词性标注 5 并行分词 Python 2.x 下的安装&&& 全自动安装：easy_install jieba 或者 pip install jieba&&& 半自动安装：先下载http://pypi.python.org/pypi/jieba/ ，解压后运行python setup.py install&&& 手动安装：将jieba目录放置于当前目录或者site-packages目录&&& 通过import jieba 来引用 （第一次import时需要构建Trie树，需要几秒时间）Python 3.x 下的安装&&& 目前master分支是只支持Python2.x 的&&& Python3.x 版本的分支也已经基本可用： /fxsjy/jieba/tree/jieba3k&&& git clone /fxsjy/jieba.git&&& git checkout jieba3k&&& python setup.py install2: 是一个Python端口pymmseg-CPP，的rmmseg CPP项目的。 rmmseg-CPP是一个MMSEG中文分词算法的实现在一个Ruby的C + +接口。3 Loso：是一个用Python编写的中文分词系统。它最初被开发为改善Plurk搜索，但适用简体中文。& 4 smallseg :
-- 开源的的轻量级的中文分词工具包
特点：可自定义词典、速度快、可在Google App Engine上运行。
1 开放的中文分词项目
2 高性能、高可用性分词系统
阅读(...) 评论()你好，可以给我发一个你说的python的英文分词开_python吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：67,241贴子：
你好，可以给我发一个你说的python的英文分词开收藏
你好，可以给我发一个你说的python的英文分词开源代码吗
另外，这个工具可以有什么功能，可以实现对英文单词的原型转换吗，可以做到词的过滤吗，可否简单介绍一下工具的功能
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或出处： 就是前面说的中文分词，这里需要介绍的是一个分词效果较好，使用起来像但方便的Python模块：结巴。
一、结巴中文分词采用的算法
基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)
采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
二、结巴中文分词支持的分词模式
目前结巴分词支持三种分词模式：
精确模式，试图将句子最精确地切开，适合文本分析；
全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
使用方法如下：
# -*- coding:utf-8 -*-
import jieba
text = &我来到北京清华大学&
default_mode = jieba.cut(text)
full_mode = jieba.cut(text,cut_all=True)
search_mode = jieba.cut_for_search(text)
print &精确模式:&,&/&.join(default_mode)
print &全模式:&,&/&.join(full_mode)
print &搜索引擎模式:&,&/&.join(search_mode)
返回的数据如下：
精确模式: 我/来到/北京/清华大学
全模式: 我/来到/北京/清华/清华大学/华大/大学
搜索引擎模式: 我/来到/北京/清华/华大/大学/清华大学
上述代码解释：
jieba.cut方法接受两个输入参数: 1) 第一个参数为需要分词的字符串 2）cut_all参数用来控制是否采用全模式，默认不采用。
jieba.cut_for_search方法接受一个参数：需要分词的字符串,该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
注意：待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
jieba.cut以及jieba.cut_for_search返回的结构都是一个可迭代的generator，可以使用for循环来获得分词后得到的每一个词语(unicode)，也可以用list(jieba.cut(…))转化为list
三、结巴中文分词的其他功能
1、添加或管理自定义词典
结巴的所有字典内容存放在dict.txt，你可以不断的完善dict.txt中的内容。
2、关键词抽取
通过计算分词后的关键词的TF/IDF权重，来抽取重点关键词。
具体示例：
# -*- coding:utf-8 -*-
import jieba.analyse
text = &结巴中文分词模块是一个非常好的Python分词组件&
tags = jieba.analyse.extract_tags(text,2)
print &关键词抽取:&,&/&.join(tags)
返回的结果为：关键词抽取: 分词/Python
更多信息请查看：
Related posts:
相关 [python 分词 模块] 推荐：
- bin - One Piece of Programming
第一个版本实现了基于的MMSEG中文分词算法Python 实现. MMSEG实际上是一个正向最大匹配+多个规则的分词算法. 链接给出的几个网站写的很清楚了. 在开发过程中我增加了一个规则来处理原来的算法中有可能出现的冲突问题. 当所有的规则都无法唯一的确定一个chunk时，优先选择后面比较长的词. 开发过程中参照了MMSEG的Java实现和ruby实现.
就是前面说的中文分词，这里需要介绍的是一个分词效果较好，使用起来像但方便的Python模块：结巴. 基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG). 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合. 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法.
- lostsnow - 奋斗足迹|崔玉松
Python具有强大的扩展能力，网上有人列出了50个很棒的Python模块，包含几乎所有的需要：比如Databases，GUIs，Images, Sound, OS interaction, Web,以及其他. 日 — Httpsqs Python Client. 日 — Python Queue 的多线程(multi thread)死锁问题.
- chuang - Initiative
dropbox定制优化CPython虚拟机，自己搞了个malloc调度算法. 那个 !!!111cos(0). 期待这次PyCon China 2011.
- 企业架构 - ITeye博客
原文地址： http://blog.csdn.net/xuyuefei1988/article/details/、下面网上收罗的资料初学者应该够用了，但对比IBM的Python 代码调试技巧：. IBM：包括 pdb 模块、利用 PyDev 和 Eclipse 集成进行调试、PyCharm 以及 Debug 日志进行调试：.
- Eric - python相关的python 教程和python 下载你可以在老王python里寻觅
之前给大家分享的python 多线程抓取网页，我觉的大家看了以后，应该会对python 抓取网页有个很好的认识,不过这个只能用python 来抓取到网页的源代码，如果你想用做python 下载文件的话，上面的可能就不适合你了，最近我在用python 做文件下载的时候就遇到这个问题了，不过最终得以解决，为了让大家以后碰过这个问题有更好的解决办法，我把代码发出来：.
- 互联网 - ITeye博客
@FileName:
@Author：xx@
@Create date:
@description：用一行文字概述模块或脚本，用句号结尾. 不影响编码的效率,不与大众习惯冲突.. 使代码的逻辑更清晰,更易于理解..
*所有的 Python 脚本文件都应在文件头标上如下标识或其兼容格式的标识.
- 阿里古古
http://blog.csdn.net/luckeryin/article/details/4477233】. 本文讨论在没有方便的IDE工具可用的情况下，使用pdb调试python程序. 例如，有模拟税收计算的程序：. debug_demo函数计算4500的入账所需的税收. 在需要插入断点的地方，加入红色部分代码：如果_DEBUG值为True，则在该处开始调试（加入_DEBUG的原因是为了方便打开/关闭调试）.
- hama - Wow! Ubuntu
Dive Into Python 是一份很知名的 Python 入门教程，由 Mark Pilgrim 编写，用户可以免费获取电子版本，而中文版则由啄木鸟社区翻译发布 [ 英文版 / 中文版 ]. 前阵子，Mark Pilgrim 又发布了 《Dive into Python 3》，此版本的内容涵盖了 Python 3 及其与 Python 2 的区别.
- eastxing - 赖勇浩的编程私伙局
赖勇浩（）. 今天在 simple- 看到一篇《Python 面试题集合》（http://simple-/news/596），里面有一些很好的试题，如“Python是如何进行类型转换的. ”，也有一些让人吐血的试题，如“Python如何实现单例模式.
坚持分享优质有趣的原创文章，并保留作者信息和版权声明，任何问题请联系：@。

我要回帖

更多关于 python 分词 的文章

 

随机推荐