请大神给知道下postgresql 安装中文分词的问题

他的最新文章
他的热门文章
您举报文章:
举报原因:
原文地址:
原因补充:
(最多只允许输入30个字)温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!&&|&&
PostgreSQL 高校实验室,企业,社区大联盟才是未来的方向.
LOFTER精选
网易考拉推荐
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
使用amutu的zhparser就比较方便了, 分词的部署比以前简单很多. 具体可参看amutu 的BLOG,&zhparserzhparser是什么zhparser是一个PostgreSQL中文分词的插件,通过它,可以使PostgreSQL支持中文的全文检索(Full Text Search)。为什么需要zhparser一般英语等语言分词比较简单,按照标点、空格切分语句即可获得有含义的词语,PostgreSQL自带的parser就是按照这个原理来分词的,比较简单。而中文就比较复杂,词语之间没有空格分割,长度也不固定,怎么分词有时还跟语句的语义有关,因此PG自带的parser不能用来做中文分词。使用zhparser这个插件,便可以使PG支持中文分词,继而可以使用PG做中文全文检索。zhparser原理是什么zhparser用C语言实现了PostgreSQL TEXT SEARCH PARSER需要的接口,这些接口会调用SCWS中文分词引擎进行分词。我这里在CentOS 6.x x64和PostgreSQL 9.3.3上面测试了一下, 非常好用.#&wget http://www.xunsearch.com/scws/down/scws-1.2.2.tar.bz2#&tar -jxvf scws-1.2.2.tar.bz2#&cd scws-1.2.2#&./configure --prefix=/opt/scws-1.2.2#&make#&make install#&git clone https://github.com/amutu/zhparser.git#&cd zhparser/[root@db-172-16-3-150 zhparser]# export PATH=/home/pg93/pgsql/bin:$PATH[root@db-172-16-3-150 zhparser]# which pg_config/home/pg93/pgsql/bin/pg_config# SCWS_HOME=/opt/scws-1.2.2 make# make install[root@db-172-16-3-150 zhparser]# su - pg93pg93@db-172-16-3-150-& psqlpsql (9.3.3)Type "help" for help.digoal=# creatCREATE EXTENSIONdigoal=# select * from pg_ts_&prsname &| prsnamespace | &prsstart & | & &prstoken & & | &prsend & | &prsheadline &| &prslextype &&----------+--------------+-------------+-----------------+-----------+---------------+---------------&default &| & & & & & 11 | prsd_start &| prsd_nexttoken &| prsd_end &| prsd_headline | prsd_lextype&zhparser | & & & &25956 | zhprs_start | zhprs_getlexeme | zhprs_end | prsd_headline | zhprs_lextype(2 rows)digoal=# CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);CREATE TEXT SEARCH CONFIGURATIONdigoal=# & & & & & select * from pg_ts_config where cfgname='testzhcfg';& cfgname &| cfgnamespace | cfgowner | cfgparser&-----------+--------------+----------+-----------&testzhcfg | & & & &25956 | & & & 10 | & & 26134(1 row)配置token type, 参考digoal=# ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITHALTER TEXT SEARCH CONFIGURATIONdigoal=# & & & & & select * from pg_ts_config_map where mapcfg=(select oid from pg_ts_config where cfgname='testzhcfg');&mapcfg | maptokentype | mapseqno | mapdict&--------+--------------+----------+---------& 26135 | & & & & & 97 | & & & &1 | & &3765& 26135 | & & & & &101 | & & & &1 | & &3765& 26135 | & & & & &105 | & & & &1 | & &3765& 26135 | & & & & &108 | & & & &1 | & &3765& 26135 | & & & & &110 | & & & &1 | & &3765& 26135 | & & & & &118 | & & & &1 | & &3765(6 rows)SELECT * FROM ts_parse('zhparser', 'hello world! 2010年保障房建设在全国范围内获全面启动,从中央到地方纷纷加大 了 保 障 房 的 建 设&和 投 入 力 度 。2011年,保障房进入了更大规模的建设阶段。住房城乡建设部党组书记、部长姜伟新去年底在全国住房城乡建设工作会议上表示,要继续推进保障性安居工程建设。');&tokid | &token &&-------+----------& &101 | hello& &101 | world& &117 | !& &101 | 2010& &113 | 年& &118 | 保障& &110 | 房建& &118 | 设在& &110 | 全国& &110 | 范围& &102 | 内& &118 | 获& & 97 | 全面& &118 | 启动& &117 | ,& &110 | 从中& &118 | 央& &118 | 到& &110 | 地方& &100 | 纷纷& &118 | 加大& &118 | 了& &118 | 保& &110 | 障& &110 | 房& &117 | 的& &118 | 建& &118 | 设& & 99 | 和& &118 | 投& &118 | 入& &110 | 力& &107 | 度& &117 | 。& &101 | 2011& &113 | 年& &117 | ,& &118 | 保障& &110 | 房& &118 | 进入& &118 | 了& &100 | 更& &110 | 大规模& &117 | 的& &118 | 建设& &110 | 阶段& &117 | 。& &110 | 住房& &110 | 城乡建设& &110 | 部党组& &110 | 书记& &117 | 、& &110 | 部长& &110 | 姜伟新& &116 | 去年底& &112 | 在& &110 | 全国& &110 | 住房& &110 | 城乡建设& &118 | 工作& &110 | 会议& &110 | 上表& &118 | 示& &117 | ,& &118 | 要& &118 | 继续& &118 | 推进& &110 | 保障性& &118 | 安居& &110 | 工程建设& &117 | 。(71 rows)SELECT to_tsvector('testzhcfg','“今年保障房新开工数量虽然有所下调,但实际的年度在建规模以及竣工规模会超以往年份,相对应的对资金的需求也会创历史纪录。”陈国强说。在他看来,与2011年相比,2012年的保障房建设在资金配套上的压力将更为严峻。');& & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & to_tsvector & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & &---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------&'12':29 '上':35 '下调':7 '严峻':37 '会':14 '会创':20 '保障':1,30 '历史':21 '压力':36 '国强':24 '在建':10 '实际':8 '对应':17 '年份':16 '年度':9 '开工':4 '房':2 '房建':31 '数量':5 '新':3 '有所':6 '相比':28 '看来':26 '竣工':12 '纪录':22 '规模':11,13 '设在':32 '说':25 '资金':18,33 '超':15 '配套':34 '陈':23 '需求':19(1 row)SELECT to_tsquery('testzhcfg', '保障房资金压力');& & & & & &to_tsquery & & & & & &---------------------------------&'保障' & '房' & '资金' & '压力'(1 row)[参考]1.&2.&3.&4.&5.&6. http://7.&8.&9.&
阅读(5190)|
用微信&&“扫一扫”
将文章分享到朋友圈。
用易信&&“扫一扫”
将文章分享到朋友圈。
历史上的今天
在LOFTER的更多文章
loftPermalink:'',
id:'fks_',
blogTitle:'PostgreSQL chinese full text search 中文全文检索',
blogAbstract:'首先要感谢amutu以及其他为中文检索贡献的兄弟们, 我在之前写过一些关于PG中文全文检索的文章, 比较繁琐.
{if x.moveFrom=='wap'}
{elseif x.moveFrom=='iphone'}
{elseif x.moveFrom=='android'}
{elseif x.moveFrom=='mobile'}
${a.selfIntro|escape}{if great260}${suplement}{/if}
{list a as x}
推荐过这篇日志的人:
{list a as x}
{if !!b&&b.length>0}
他们还推荐了:
{list b as y}
转载记录:
{list d as x}
{list a as x}
{list a as x}
{list a as x}
{list a as x}
{if x_index>4}{break}{/if}
${fn2(x.publishTime,'yyyy-MM-dd HH:mm:ss')}
{list a as x}
{if !!(blogDetail.preBlogPermalink)}
{if !!(blogDetail.nextBlogPermalink)}
{list a as x}
{if defined('newslist')&&newslist.length>0}
{list newslist as x}
{if x_index>7}{break}{/if}
{list a as x}
{var first_option =}
{list x.voteDetailList as voteToOption}
{if voteToOption==1}
{if first_option==false},{/if}&&“${b[voteToOption_index]}”&&
{if (x.role!="-1") },“我是${c[x.role]}”&&{/if}
&&&&&&&&${fn1(x.voteTime)}
{if x.userName==''}{/if}
网易公司版权所有&&
{list x.l as y}
{if defined('wl')}
{list wl as x}{/list}他的最新文章
他的热门文章
您举报文章:
举报原因:
原文地址:
原因补充:
(最多只允许输入30个字)请教:postgresql中文分词用什么?
默认安装没有中文分词,windows平台
自己找相应开发环境的分词组件,pg在windows下没有可以集成到数据库的插件,linux下才有。
全文检索时用postgresql吧-百度贴吧--PostgreSQL 强大的开源关系型数据库系统--PostgreSQL is a powerful, open source object-relational da
签到排名:今日本吧第个签到,
本吧因你更精彩,明天继续来努力!
本吧排名:
本吧签到人数:9
可签7级以上的吧50个
本月漏签0次!
成为超级会员,赠送8张补签卡
连续签到:天&&累计签到:天
超级会员单次开通12个月以上,赠送连续签到卡3张
PostgreSQL 强大的开源关系型数据库系统
网上postgresql一顿好评,说甩mysql好几条街,心动了一下,就花了两天的时间测试了一下,2楼给结果
刚接触Postgres,请问orafce在windows的环境下怎么导入Postgres里面
PostgreSQL 数据库巡检模板和脚本。http://www.bieryun.com/688.html 已在CentOS 6.x上进行测试获取postgresql日志目录
我这有一个.sql文件,想要运行此文件将表创建到shark架构下,但是直接运行的话就创建到public架构中了,
PostgreSQL9从零开始学数据库管理开发视频教程 站长视频网的播发密码有没有人知道,急求
求教,给id设置主键时报这个错误
我用c#打开一个很大的excel 每个页表示一个表的数据,导入到数据库 方法是 用Excel驱动把每个页最为一个
每5分钟取一次数据,每5分钟产生数据20w条,每页20条数据。如何实现,是要使用存储过程分页吗?每天累
如题,安装后,service可以正常启动,但是重启电脑后,就无法自动打开postgreSQL的服务了。
向postgis中导入openstreetmap下载的北京的地图shp数据时,导入时,当用utf-8,gbk,gb18030都会报:Unable to convert
最近发现一款PostgreSQL数据库的web管理工具软件【TreeSoft数据库管理软件】 功能包括:数据库的展示,库表的
三个表,分别是用户表,关系表,权限表。 想要通过用户id去关系表查询已有权限,然后去权限表查询对
三个表,分别是用户表,关系表,权限表。 想要通过用户id去关系表查询已有权限,然后去权限表查询对
有没有大神秀波操作,第一次用这个数据库 PostgreSQL数据库,tomcat启动报错
请问各位大佬大神,如何监控PostgreSQL实例?数据库节点监控,连接池监控,运行状态监控?主要是要监控
警报:给schemas模式内的所有表数据进行加密?网上资料很少,属实不明白,又没有了解的?
急求大神,安装postgresql过程中,一直卡在installing the database cluster,不往下走了啊啊啊啊啊 我该总么办?
有没有办法让postgresql的表名使用大写而不加引号? 就像:select * from TUSER 而不是:select * from &TUSER&
重启,重装,管理员运行都不行 无法卸载啊
来大神我有个一键备份的功能要写就是导出数据库的结构和数据到指定的目录去来个大牛
我想问一下大神,怎样在postgresql里对于数据库里一个table里的一栏特定数据进行排序
新人不懂,为什么数据库已经有了那张表,在java里却报错,在网上找了半天没有找到好的解决办法,求大
前几天postgresql不能启动,我重新安装一次,结果就安装不了了,每次提示failed to load SQLModule ,根据百度上
端口没被占用,用户名,密码正确,用pgAdmin III或者Navicat可以打开本地数据库,myeclipse可以连接远程,就
我在centOS 7.4上安装PostgreSQL9.6后,启动就出现这种问题,这个到底是怎么回事了,研究了几日了都没有解
金字塔类型的,分层分块存储这样的数据,考虑数据库中各个表结构的设计,各个表之间的联系。 又可以
用C#操作postgresql数据库,建库,建表,把txt中的数据存进数据表里怎么实现?有实例吗?
大佬们,这个问题已经困扰我好久了,求解决!
postgresql 9.5如何获取function 的 ddl 语句,就像数据库工具展示出来的一样
求救!copy时 表中有一个geometry(Point,4326)类型的字段怎么导入? 现在用的 ST_GeomFromText('POINT(118..373451)',4326) 这样的 可
我的数据库是第三方的一个软件安装的,所以就没有ODBC驱动, 在https://www.postgresql.org/ftp/odbc/versions/msi/下
最近有一个需求,需要将订单的状态按照特定的顺序排序(3,4,0,1,5,6,2,7按照这种顺序来排序),我数据库
如题,一列为text类型,但是查出来默认只显示了部分字符。类似于oracle中有long的类型可以用set long 5000来
删除数据库的时候就会出现这个错误,说什么有另外的用户。这个要怎么解决?
服务postgresql server8.4 无法启动,求助啊,急
mysql和sqlserver中都有space函数,postgresql中有没有此函数?如果没有,自己要如何实现呢?
select * from camera_info where region_id = 106 order by name 怎么排序 排了半天找不到方法 按照数字顺序排
代朋友转发,请版主不要删帖。 ------------------------------- 本工作室对PostgreSQL及其相关的项目都比较了解,
CREATE OR REPLACE FUNCTION &public&.&sp_picking&(IN inwhid varchar, IN intote varchar, IN inordernumber varchar, IN ship
你可能感兴趣的吧...
发贴红色标题
签到六倍经验
兑换本吧会员
赠送补签卡1张,获得
助攻总额: 43W
贴吧热议榜
发表后自动分享本贴
使用签名档&

我要回帖

更多关于 postgresql 问题 的文章

 

随机推荐