• Sphinx 在 windows 下安装使用
    时间:2012-02-13   作者:佚名   出处:互联网

    前一阵子尝试使用了一下 Sphinx ,一个能够被各种语言 (PHP/Python/Ruby/etc) 方便调用的全文检索系统。网上的资料大多是在 linux 环境下的安装使用,当然,作为生产环境很有必要部署在 *nix 环境下,作为学习测试,还是 windows 环境比较方便些。

    本文旨在提供一种便捷的方式让 Sphinx 在 windows 下安装配置以支持中文全文检索,配置部分在 linux 下通用。

    一、关于 Sphinx

    Sphinx 是一个在 GPLv2 下发布的一个全文检索引擎,商业授权(例如 , 嵌入到其他程序中)需要联系作者( Sphinxsearch.com )以获得商业授权。
    一般而言, Sphinx 是一个独立的搜索引擎,意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。 Sphinx 可以非常容易的与 SQL 数据库和脚本语言集成。
    当前系统内置 MySQL 和 PostgreSQL 数据库数据源的支持,也支持从标准输入读取特定格式的 XML 数据。通过修改源代码,用户可以自行增加新的数据源(例如:其他类型的 DBMS 的原生支持)。
    搜索 API 支持 PHP 、 Python 、 Perl 、 Rudy 和 Java ,并且也可以用作 MySQL 存储引擎。搜索 API 非常简单,可以在若干个小时之 内移植到新的语言上。

    Sphinx 特性:

    高速的建立索引 ( 在当代 CPU 上,峰值性能可达到 10MB/ 秒 );
    ·高性能的搜索 ( 在 2–4GB 的文本数据上,平均每次检索响应时间小于 0.1 秒 );
    ·可处理海量数据 ( 目前已知可以处理超过 100GB 的文本数据 , 在单一 CPU 的系统上可处理 100M 文档 );
    ·提供了优秀的相关度算法,基于短语相似度和统计( BM25 )的复合 Ranking 方法 ;
    ·支持分布式搜索 ;
    ·提供文件的摘录生成 ;
    ·可作为 MySQL 的存储引擎提供搜索服务 ;
    ·支持布尔、短语、词语相似度等多种检索模式 ;
    ·文档支持多个全文检索字段 ( 最大不超过 32 个 );
    ·文档支持多个额外的属性信息 ( 例如:分组信息,时间戳等 );
    ·停止词查询 ;
    ·支持单一字节编码和 UTF-8 编码 ;
    ·原生的 MySQL 支持 ( 同时支持 MyISAM 和 InnoDB);
    ·原生的 PostgreSQL 支持 .

    二、 Sphinx 在 windows 上的安装

    1. 直接在 http://www.sphinxsearch.com/downloads.html 找 到最新的 windows 版本,我这里下的是 Win32 release binaries with MySQL support ,下载后解压在 D:\sphinx 目录下;
    2. 在 D:\sphinx\ 下新建一个 data 目录用来存放索引文件, 一个 log 目录方日志文件,复制 D:\sphinx\sphinx.conf.in 到 D:\sphinx\bin\sphinx.conf (注意修改文件 名);
    3. 修改 D:\sphinx\bin\sphinx.conf ,我这里 列出需要修改的几个:
    type           = mysql # 数据源,我这里是mysql
    sql_host       = localhost # 数据库服务器
    sql_user       = root # 数据库用户名
    sql_pass       = '' # 数据库密码
    sql_db         = test # 数据库
    sql_port       = 3306 # 数据库端口
    sql_query_pre      = SET NAMES utf8 # 去掉此行前面的注释,如果你的数据库是uft8 编码的
    index test1
    {
    # 放索引的目录
      path      = D:/sphinx/data/
    # 编码
      charset_type     = utf-8
      #  指定utf-8 的编码表
      charset_table     = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
      # 简单分词,只支持0 和1 ,如果要搜索中文,请指定为1
      ngram_len       = 1
    # 需要分词的字符,如果要搜索中文,去掉前面的注释
      ngram_chars      = U+3000..U+2FA1F
    }
    # 搜索服务需要修改的部分
    searchd
    {
      # 日志
      log        = D:/sphinx/log/searchd.log
      # PID file, searchd process ID file name
      pid_file      = D:/sphinx/log/searchd.pid
      # windows 下启动searchd 服务一定要注释掉这个
      # seamless_rotate     = 1
    }

    4. 导入测试数据

    sql 文件在 D:/sphinx/example.sql
    C:\Program Files\MySQL\MySQL Server 5.0\bin>mysql -uroot test<d:/sphinx/example.sql

    5. 建立索引

    D:\sphinx\bin>indexer.exe test1 ( 备注 :test1 为 sphinx.conf 的 index test1() )
    Sphinx 0.9.8-release (r1533)
    Copyright (c) 2001-2008, Andrew Aksyonoff
    using config file ‘./sphinx.conf’…
    indexing index ‘test1′…
    collected 4 docs, 0.0 MB
    sorted 0.0 Mhits, 100.0% done
    total 4 docs, 193 bytes
    total 0.101 sec, 1916.30 bytes/sec, 39.72 docs/sec
    D:\sphinx\bin>

    6. 搜索 ’test’ 试试

    D:\sphinx\bin>search.exe test1
    显示结果如下
    using config file ‘./sphinx.conf’…
    index ‘test1′: query ‘test ‘: returned 3 matches of 3 total in 0.000 sec
    displaying matches:

    1. document=1, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008

    id=1
    group_id=1
    group_id2=5
    date_added=2008-11-26 14:58:59
    title=test one
    content=this is my test document number one. also checking search within
    phrases.

    2. document=2, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008

    id=2
    group_id=1
    group_id2=6
    date_added=2008-11-26 14:58:59
    title=test two
    content=this is my test document number two

    3. document=4, weight=1, group_id=2, date_added=Wed Nov 26 14:58:59 2008

    id=4

    group_id=2

    group_id2=8

    date_added=2008-11-26 14:58:59

    title=doc number four

    content=this is to test groups

    words:

    1. ‘test’: 3 documents, 5 hits

    D:\sphinx\bin>

    6. 测试中文搜索

    修改 test 数据库中 documents 数据表,

    UPDATE `test`.`documents` SET `title` = ‘ 测试中文 ’, `content` = ‘this is my test document number two ,应该搜的到吧 ’ WHERE `documents`.`id` = 2;

    重建索引:

    D:\sphinx\bin>indexer.exe test1

    搜索 ’ 中文 ’ 试试:

    D:\sphinx\bin>search.exe 中文

    Sphinx 0.9.8-release (r1533)

    Copyright (c) 2001-2008, Andrew Aksyonoff

    using config file ‘./sphinx.conf’…

    index ‘test1′: query ‘ 中文 ‘: returned 0 matches of 0 total in 0.000 sec

    words:

    D:\sphinx\bin>

    貌似没有搜到,这是因为 windows 命令行中的编码是 gbk ,当然搜不出来。我们可以用程序试试,在 D:\sphinx\api 下新建一个 foo.php 的文件,注意 utf-8 编码

    <?php

    require ’sphinxapi.php’;

    $s = new SphinxClient();

    $s->SetServer(’localhost’,9312);

    $result = $s->Query(’ 中文 ’);

    var_dump($result);

    ?>

    启动 Sphinx searchd 服务

    D:\sphinx\bin>searchd.exe

    Sphinx 0.9.8-release (r1533)

    Copyright (c) 2001-2008, Andrew Aksyonoff

    WARNING: forcing –console mode on Windows

    using config file ‘./sphinx.conf’…

    creating server socket on 0.0.0.0:9312

    accepting connections

    执行 PHP 查询:

    访问 http://www.test.com/sphinx/api/foo.php ( 自己配置的虚拟主机 )

    使用 CORESEEK 分词

    1 、下载 http://www.coreseek.cn/news/5/89/

    2 、安装系统依赖的软件包

    系统的基础组件需要如下的软件包:

       - Active Python 2.5 ( http://www.activestate.com/Products/activepython/ )

       - MySQL_Python 1.2.2 (http://sourceforge.net/project/showfiles.php?group_id=22307 ) 验证 可以不装

    安装完前面两个组件后,系统可以运行,但是需要手工修改配置文件。

    安装配置界面需要的软件包:

        - gtk-dev 2.12.9 (http://sourceforge.net/project/showfiles.php?group_id=98754 ) 验证可以不装

        - pycairo 1.4.12 (http://ftp.acc.umu.se/pub/GNOME/binaries/win32/pycairo/1.4/ )

        - pygobject 2.14.1 (http://ftp.acc.umu.se/pub/GNOME/binaries/win32/pygobject/2.14/ )

        - pygtk 2.12.1 (http://ftp.acc.umu.se/pub/GNOME/binaries/win32/pygtk/2.12 ) )

    如果您下载的是完整版,前面提到的全部文件应该能在preq 子目录中找到。

    安装前面提到的全部软件包(注意:必须先安装Python 和gtk)

    注意: 必须是Active Python ,Python 官方的版本缺少系统需要的Win32 扩展支持,将导致系统无法工作。

    注意: 完成本步后,必须重新启动您的计算机。

    3 、解压 csft 到你认为的目录

    4 、csft 文件内配与 sphinx 的内容大致相同 ( 配置详细见:sphinx+mysql (1) , (2) )

    5 、创建词典文件

    \bin\mmseg -u \data\unigram.txt    # 词库是动态的,指定目录就可以

    ·把生成的文件改名为uni.lib ,

    6 、导入sample.sql 数据库

    7 、建立索引 index.exe --all   (详情见 sphinx + mysql(1) )

    以下分支说明如下

    ---------------------------------------------------------------

    A :

    8 、安装SPHINXSE FOR MYSQL

    http://www.sphinxsearch.com/downloads/mysql-5.0.45-sphinxse-0.9.8-win32.zip

    下载后,解压然后覆盖MYSQL 目录,就OK 。 ( 注意mysql 版本 必须相同)

    进入mysql 运行 show engines; 查看表的类型是否存在 sphinx

    9 、创建Sphinx 存储引擎表

    CREATE TABLE `sphinx` (

    `id` int(11) NOT NULL,

    `weight` int(11) NOT NULL,

    `query` varchar(255) NOT NULL,

    `group_id` int(11) NOT NULL,

    KEY `Query` (`Query`)

    ) ENGINE=SPHINX CONNECTION='sphinx://localhost:3312/test1';

    与一般mysql 表不同的是ENGINE=SPHINX CONNECTION='sphinx://localhost:3312/test1'; ,这里表示这个表采用SPHINXSE 引擎,与sphinx 的连接串是'sphinx://localhost:3312/test1 ,test1 是索引名称

    根据sphinx 官方说明,这个表必须至少有三个字段,字段起什么名称无所谓,但类型的顺序必须是integer,integer,varchar ,分别表示记录标识document ID, 匹配权重weight 与查询query ,同时document ID 与query 必须建索引。另外这个表还可以建立几个字段,这几个字段的只能是integer 或TIMESTAMP 类型,字段是与sphinx 的结果集绑定的,因此字段的名称必须与在sphinx.conf 中定义的属性名称一致,否则取出来的将是Null 值。

    10 、MySQL SphinxSE 全文检索存储引擎SQL 语句使用方法

    安装SphinxSE 存储引擎后首先需新建一张特殊的指定"ENGINE=SPHINX" 检索表,如下:

    CREATE TABLE ArticleFulltext (

        ID          INTEGER NOT NULL,

        Weight      INTEGER NOT NULL,

        Query      VARCHAR(3072) NOT NULL,

        ...

        INDEX (Query)

    ) ENGINE=SPHINX CONNECTION="sphinx://localhost:3312/test";

    ·其中表名和字段名可以是任意名称,但前三个属性的类型必须为INT 、INT 和VARCHAR 。也可以拥有更多的属性,类型必须为INT 或TIMESTAMP ,名称必须与Sphinx 配置文件对应,用于返回检索结果的更多信息。

    ·创建该表后即可使用如下的SQL 语句在MySQL 中进行全文检索:

    ·SELECT * FROM ArticleFulltext WHERE Query=' 全文检索条件';

    ·查询返回结果即为全文检索的结果,包括文档ID 、权重,若ArticleFulltext 表包含了更多属性还包含命中结果的其它信息。

    ·通过SQL 联接操作可以很容易的实现融合检索,如:

    ·SELECT ID, Title

    FROM Article, ArticleFulltext

    WHERE ArticleFulltext.ID = Article.ID and Query = ' 博客'

    AND PublishTime > '2007-03-01' AND ReferCount > 0

    ORDER BY Weight * 0.5 + ReferCount * 0.5;

    ·上述SQL 语句即可检索出2007 年3 月1 日以来包含' 博客' 关键字且并引用过的文章,且按全文检索权重和引用数综合计算所得的权重进行排序。

    ·由此可见,通过将全文检索系统提供的功能以存储引擎的形式嵌入到关系数据库MySQL 中可以很方便的提供融合检索功能,虽然功能限制较多,也不失为一种聪明便捷的方式。

    11, 将SPHINX 生成WINDOWS 服务

    searchd --install --config "csft.conf"

    12. 启动服务 net start |searchd( 或者其它服务名)

    ---------------------------------------------------------------

    B :

    配置sphinx.conf 文件,支持中文编码

    charset_type = zh_cn.utf-8

    charset_dictpath = D:\csft3.1\bin   # 分词 lib 库文件的目录

    min_infix_len = 0

    网友留言/评论

    我要留言/评论

    相关文章

    PHP抽取段落关键词程序:来源于Dede的PHP分词程序
    Mysql注入研究总结:攻击是现今最流行的攻击方式,依靠它强大的灵活性吸引了广大黑迷。所以程序员应该牢记的一句话:一切用户输入的都是不安全的。
    一致性哈希算法的一种PHP实现:一致性哈希算法的一种PHP实现
    PHP获取客户端IP:使用以下方式可以获取客户端的真实IP和所有代理IP,具体如下
    九大PHP开源Wiki(维基百科)程序评测:维基百科(wiki)是Web2.0的代表产物,跟博客、digg、视频分享等一样同样强调用户参与,分享互联网的精神。如果想自己编写一本百科全书,跟建一个博客一样,有已经开发好的程序可以使用,而且是开源的。有了这些工具,我们要实现编写百科全书的梦想就不难实现了。以下是九大基于PHP和 Mysql架构的wiki程序的介绍,有兴趣的朋友可以选择一款适合自己的wiki程序。
    starling试用手记:twitter最近将ruby实现的消息队列服务器starling开源了,这是一个支持memcache协议的轻量级持久化服务器,因此使用php/perl/ruby/java等多种客户端都没问题,可以将较慢的处理逻辑通过消息队列放在后台处理,同时也支持多点分布式处理。周末找了个闲置的centos 5机器搭了一套starling试用,配合php的memcache扩展测试一番,有点意思。
    PHP和Mysql中一些容易混淆的概念:对于初学者来说,PHP和Mysql中一些基础的东西比较容易混淆,本文简单介绍一下
    PHP程序员最易犯10种错误总结:PHP是个伟大的web开发语言,灵活的语言,但是看到php程序员周而复始的犯的一些错误。我做了下面这个列表,列出了PHP程序员经常犯的10中错误,大多数和安全相关。