paip 论全文检索实现方式lucene Sphinx solr以及比较

paip.;论全文检索实现方式lucene  Sphinx  solr以及比较

 

1.   1lucene(solr,elasticsearch 都是基于它）.....................................................................1

2.   Lucene缺点...............................................................................................................1

3.   Sphinx，...................................................................................................2

3.1.      Sphinx 跟 RDBMS （特别是MYSQL） 绑定的特别紧密...........................2

3.1.      性能非常出色..............................................................................................2

3.2.      和数据库集成性很好...................................................................................2

3.3.      可以做MySQL的全文检索..........................................................................2

4.   Sphinx缺点...............................................................................................................4

5.   ElasticSearch..............................................................................................................4

6.   solr...........................................................................................................................4

7.   中文全文检索............................................................................................................5

8.   比较..........................................................................................................................5

9.   结论: lucene+sphinx协同使用。。来得到更好的搜索结果。......................................5

10.         参考:..................................................................................................................5

 

 

作者Attilax，  EMAIL:1466519819@qq.com 
来源：attilax的专栏
地址：http://blog.csdn.net/attilax

 

全文检索功能很多系统中都有用到，但我有个疑问：到底是用数据库中提供的全文检索功能，还是选用如 Lucene 之类的东西来实现？我主要想知道，这两种方式有什么区别？各自适用于什么样的场合？对中文的支持都怎么样？效率呢？请高人指点！

 

 

1.   1lucene(solr, elasticsearch都是基于它） 

检索时它对CPU和内存的需求很小， 建立索引时却不小，不过估计你每天重建索引的次数也不多，所以估计问题不大。

 

 

2.   Lucene缺点

性能较差

使用Lucene有一定的挑战性。想要用好它的话，你需要时刻留心很多东西。而且它只是一个jar包，不支持分布式。

4。incrementalfetch。lucene不支持从中间取索引。例如：用户取第十页，lucene需要把前面所有的内容都要检索出，然后所有的排序，过滤掉前面的然后返回。虽然说，这个从用户行为来说（因为大多数用户还是看前面的，不会跳着来），不是什么大问题。但是，这个毕竟可以解决。

3.    Sphinx，

一个能够被各种语言(PHP/Python/Ruby/etc)方便调用的全文检索系统

一般而言，Sphinx是一个独立的搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。

 

Sphinx是一个俄国人开发的搜索引擎，

3.1.  Sphinx 跟 RDBMS （特别是MYSQL） 绑定的特别紧密

3.1.  性能非常出色

150万条记录一两分钟就索引完毕，2-4GB以内的文本检索速度不到0.1秒钟。ferret也望尘莫及，更不要说lucene了

 

3.2.  和数据库集成性很好

Sphinx通过配置文件可以自行读取数据库信息做索引，不依赖任何外部的应用程序，并且可以作为一个daemon进程启动，支持分布式检索，并发响应性能很好。因此很多过去使用ferret的人因为并发检索的问题都改用Sphinx了。

 

3.3.  可以做MySQL的全文检索 

MySQL的数据库引擎是可插拔的结构，Sphinx开发了一个SphinxSE数据库引擎，可以在编译MySQL的时候直接编译到MySQL里面去，这样的话，可以在数据库级别支持高性能的全文检索，那么你可以以如下SQL方式去全文检索了： 

select * from xxxxwhere query='test;sort=attr_asc:group_id' AND ....; 

很棒吧

 

当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式的XML数据。通过修改源代码，用户可以自行增加新的数据源（例如：其他类型的DBMS的原生支持）。支持原生的mysql数据源，也支持xml数据。

 

搜索API支持PHP、Python、Perl、Rudy和Java，并且也可以用作MySQL存储引擎。搜索API非常简单，可以在若干个小时之内移植到新的语言上。

 

Sphinx建索引速度是最快的，比Lucene快9倍以上。因此，Sphinx非常适合做准实时搜索引擎。

. sphinx用c++编写,调用native api,s

Sphinx支持高速建立索引（可达10MB/秒，而Lucene建立索引的速度是1.8MB/秒）

高性能搜索（在2-4 GB的文本上搜索，平均0.1秒内获得结果）

高扩展性（实测最高可对100GB的文本建立索引，单一索引可包含1亿条记录）

支持分布式检索

支持基于短语和基于统计的复合结果排序机制

支持任意数量的文件字段（数值属性或全文检索属性）

支持不同的搜索模式（“完全匹配”，“短语匹配”和“任一匹配”）

支持作为Mysql的存储引擎(可以只改变sql就能实现全文搜索)

coreseek就是基于sphinx的实现

 

对于中文搜索，国内有coreseek和sphinx-for-chinese两个版本，内部使用了mmseg这个分词器。用户可以自定义分词库。

 

sphinx-for-chinese是一款专门为中文优化的全文搜索软件,在sphinx的基础上添加了中文分词模块,极大的提高了中文搜索的性能和效果

 

 

·        高速的建立索引(在当代CPU上，峰值性能可达到10MB/秒);

·        高性能的搜索(在2–4GB的文本数据上，平均每次检索响应时间小于0.1秒);

·        可处理海量数据(目前已知可以处理超过100GB的文本数据,在单一CPU的系统上可处理100M文档);

·        提供了优秀的相关度算法，基于短语相似度和统计（BM25）的复合Ranking方法;

·        支持分布式搜索;

·        提供文件的摘录生成;

·        可作为MySQL的存储引擎提供搜索服务;

·        支持布尔、短语、词语相似度等多种检索模式;

·        文档支持多个全文检索字段(最大不超过32个);

·        文档支持多个额外的属性信息(例如：分组信息，时间戳等);

·        停止词查询;

·        支持单一字节编码和UTF-8编码;

·        原生的MySQL支持(同时支持MyISAM和InnoDB);

·        原生的PostgreSQL支持.

 

 

扩展性: 我对它了解的不多。但是很容易把一份索引COPY到多个服务器上，然后再跑多个搜索进程。  从其他人那里了解的情况是：在高压高并发下，单极表现就足够好了！所以没必要考虑把它做成分布式。。

 

4.   Sphinx缺点

有一点比较重要： sphinx不支持 live index update. 支持的话也非常有限。

2. sphinx的索引是几乎静态的,(不能动态添加,删除新item),solr是动态索引,可以实时修改添加.要做到这点,需要加锁, 这是"慢"的最根本的原因

 

5.  ElasticSearch

分布式Lucene解决方案的核心是：  数据库需要水平分区的。(sharded, 词条见：shard  )  同时，还要使用 HTTP 和JSON 的形式来做为API。这样的优势是：不论什么语言，都可以轻易的调用它。 


这就是我建立ElasticSearch的原因。  它用有先进的分布式模型， 本地语言是JSON, 还提供了很多查询特性。 这些都使用JSON形式的DSL来访问。 

Solr 也是一个通过HTTP访问的检索/查询解决方案，但是我觉得ElasticSearch 提供了更好的分布式模型，也更容易使用（尽管目前看来， ElasticSearch还缺少某些检索特性，但是在不远的将来，我保证，会把Compass所有的特性都移植到ElasticSearch中去） 

当然了，除了更好的分布式模型，ElasticSearch 还提供了很多其他的特性。 因为它的诞生就是基于 分布式的理念（built with cloud in mind)，你可以试一下 站点中的特性里面所列举的特性。

 

6.   solr

支持分布式。 Solr 是基于Lucene 的

Solr 可以检索 WORD， PDF。 Sphinx不行 

Sphinx中，所有的document id 必须是 unique , unsigned, non-zero 整数（估计是用C语言的名词来解释）。Solr的很多操作，甚至不需要unique key。 而且unique key 可以是整数，也可以是字符串。

Solr 支持fieldcollapsing 来避免相似搜索结果的重复性。 Sphinx没这个功能。 

Sphinx只是查询documentid, 而solr则可以查询出整个的document. 

7.  //中文全文检索

不支持中文全文检索，但是支持英文全文检索，可以将“中文全文检索”转变为“英文全文检索”，然后再变回“中文全文检索”。那么中文又如何转换成英文呢？思路可以是：中文全文检索→拼音全文检索→中文全文检索。所以转换的思路如图1所示。

中文字词存在同音现象,重码问题要解决。

 

 

8.  /比较

没有人推荐solr吗？基于lucence的企业级搜索，虽然也是java，但提高xml，json等http服务，php操作也很方便的。

lucene功能强大，和消息队列结合会很好，唯一的缺点就是索引难维护，特别是多个索引的情况下。

sphinx不需要太注重索引维护，但是它的缺点就是不太能实时的更新索引，支持的功能没有LUCENE强大，但是足够一个中小型网站使用。

sphinx相比lucence，配置简单，易用，功能没有lucencename完善和强大。

sphinx虽然简陋，但性能好几倍

lucene可以实时增删索引，而sphinx只能通过定时任务实现，我不知道现在新版的实现没。反正这个是硬伤，速度再快也决定了它与实时性要求较高的web应用相去甚远

大型网站除非有自己的搜索研发团队,否则不会使用sphinx,sphinx的扩展性很差,分词就是一难题,要么使用sphxin_for_chinese,但是这个玩意N年不更新了

 

 

9.   结论: lucene+sphinx协同使用。。来得到更好的搜索结果。

10.         参考:

 让MySQL支持中文全文检索 - 独家评论 - 中国软件网-中国企业级选型门户.htm

Sphinx(狮身人面)比lucene还牛的搜索引擎 - minothing的专栏 - 博客频道 - CSDN.NET.htm

 

[原创]使用postgreSQL+bamboo搭建比lucene方便N倍的全文搜索第二部分

主流全文索引工具的比较（ Lucene, Sphinx, solr, elastic search) - sg552 - ITeye技术网站.htm

lucene缺点汇总_inJava_百度空间.htm

【转】Sphinx在windows下安装使用[支持中文全文检索] - 真爱无悔 - 博客园.htm

(Lucene讲的详细,ati注)全文检索系统与Lucene简介 - 水上漂的专栏 - 博客频道 - CSDN.NET.htm