Sphinx 全文搜索引擎

Sphinx 全文搜索引擎

1:索引与全文索引的概念

数据库中,表中的行特别多,如何快速的查询某一行,或者某一个文章中的单词,

索引--->查询速度快

全文索引-->针对文章内容中的单词各做索引

2:mysql支不支持全文索引?

答:支持, 但是

A:innoDB引擎在5.5,及之前的版本不支持(5.7实测可以在innodb上建fulltext),只能在myisam 引擎上用fulltext

B: mysql的全文索引功能不够强大

C: 无法对中文进行合理的全文索引----- mysql.无法进行中文分词.

注意:

全文索引的停止词

停止词是指出现频率极高的单词, 不予索引.

如果某单词出现频率50%以上,列为停止词

或者是经过统计的常用词,也列为停止词---如is, are , she, he, this 等等

就像中文中: “的”,”是”,”呵呵”

总结: 我们要对中文做全文搜索引擎,需要解决2个问题

1: 性能提高,用第3方的全文搜索引擎工具,如sphinx, solr等

2: 中文分词! (如mmseg)

编译安装sphinx+mmseg == coreseek

官网:

0: 安装工具包

yum install make gcc gcc-c++ libtool autoconf automake imake libxml2-devel expat-devel

1: 下载解压源码,ls查看

csft-4.1 mmseg-3.2.14 README.txt testpack

其中--

csft-4.1是修改适应了中文环境后的sphinx

Mmseg 是中文分词插件

Testpack是测试用的软件包

2: 先安装mmseg

2.1: cd mmseg

2.2: 执行bootstrap脚本

2.3: ./configure --prefix=/usr/local/mmseg

2.4: make && make install

3: 再安装sphinx(coreseek)

3.1: 到其目录下执行buildconf.sh

3.2: ./configure --prefix=/usr/local/sphinx

--with-mysql=/usr/local/mysql

--with-mmseg

--with-mmseg-includes=/usr/local/mmseg/include/mmseg/

--with-mmseg-libs=/usr/local/mmseg/lib/

3.3: make install

Sphinx的使用

分三个部分:

1: 数据源---要让sphinx知道,查哪些数据,即针对哪些数据做索引(可以定义多个源)

2: 索引配置--针对哪个源做索引, 索引文件放在哪个目录?? 等等

3: 搜索服务器----sphinx可以在某个端口(默认9312),以其自身的协议,与外部程序做交互.

具体的步骤:

1: 数据源典型配置

source test {

type = mysql

sql_host = localhost

sql_user = root

sql_pass =

sql_db = test

sql_query_pre = set names utf8

sql_query_pre = set session query_cache_type=off

sql_query = select id,catid,pubtime,title,content from news

sql_attr_uint = id

sql_attr_uint = catid

sql_attr_timestamp = pubtime

sql_query_info = select * from news where id=$id

}

2: 索引典型配置

index test {

type = plain

source = test

path = /usr/local/sphinx/var/data/test #生成索引放在哪

docinfo = extern

charset_dictpath = /usr/local/mmseg/etc/

charset_type = zh_cn.utf-8

}

2.1: 生成索引文件

/path/sphinx/bin/indexer -c ./etc/sphinx.test.conf test (test是索引名)

2.2: 查询测试

A:在命令下,用path/bin/search -c ./path/conf 关键词

B:开启搜索服务器,利用客户端连接搜索服务器来查询,见下

3: 配置搜索服务器接口,启动搜索服务器

searchd {

listen = localhost:9312

pid_file = /usr/local/sphinx/var/log/searchd.pid

log = /usr/local/sphinx/var/log/test.log

query_log =/usr/local/sphinx/var/log/test.query.log

client_timeout = 5

max_children = 5

max_matches = 1000

seamless_rotate = 1

}

3.2 : 使用客户端连接搜索服务器