最近在做全文搜索的内容,google了一下全文检索,发现了一些问题,现在总结如下:
全文索引和查询概念(摘自SQL 联机帮助)
SQL Server 2008 为应用程序和用户提供了对 SQL Server 表中基于字符的数据发出全文查询的功能。在可以对给定表运行全文查询之前,数据库管理员必须对表创建全文索引。全文索引包括表中一个或多个基于字符的列。这些列可以具有下列任何一种数据类型:char、varchar、nchar、nvarchar、text、ntext、image、xml、varbinary 或 varbinary(max)。每个全文索引都对基表中的一个或多个列创建索引,并且每个列都可以具有一种特定语言。从 SQL Server 2008 开始,全文搜索支持 50 多种不同语言,比如英语、西班牙语、中文、日语、阿拉伯语、孟加拉语和印地语。有关支持的全文语言的完整列表,请参阅 sys.fulltext_languages (Transact-SQL)。
对于每种支持的语言,SQL Server 都提供了特定于语言的语言组件,包括断字符和词干分析器以及一个空同义词库文件。对于每种全文语言,SQL Server 也提供了一个文件(“同义词库文件”),您可以在该文件中有选择地定义特定于语言的同义词以扩展搜索查询的范围。另外,从 SQL Server 2008 开始提供系统非索引字表。若要支持特定语言或商业应用场景,您可以通过添加和删除非索引字(也称为干扰词)更改系统非索引字表,并且您可以根据需要创建附加的非索引字表。
SQL Server 为编写全文查询提供了一组全文谓词(CONTAINS 和 FREETEXT)和行集值函数(CONTAINSTABLE 和 FREETEXTTABLE)。使用这些全文谓词和行集值函数,应用程序和用户可以执行各种类型的全文搜索,例如搜索单个单词或短语(并可以选择对结果集排名),搜索与其他单词或短语接近的单词或短语,或者搜索特定单词的同义词形式。
全文索引、查询和同步化最主要的设计要求是,在注册进行全文检索的所有表上都有一个唯一的全文键列(或者单列主键)。全文索引对使用的重要字及其所在位置进行跟踪。
全文查询根据特定语言(例如,英语或日语)的规则对词和短语进行操作,从而对全文索引中的文本数据执行语言搜索。全文查询可以包括简单的词和短语,或者词或短语的多种形式。
全文搜索适用于多种商业应用场景:例如,电子商务(在网站上搜索项目)、律师事务所(在法律数据库中搜索案例记录)或人力资源部门(从所存储的个人简历中找到符合职位描述的简历)。不管是什么样的商业应用场景,全文搜索的基本管理任务和开发任务是相同的。然而,在给定的商业应用场景中,可以对全文索引和查询进行优化以使其满足业务目标。例如,对于电子商务来说,最大限度地提高性能可能比对结果进行排序、检索的准确性(实际上有多少个现有匹配项是由全文查询返回的)或支持多种语言更重要。对于律师事务所来说,首先需要考虑的可能是返回所有可能存在的匹配项(“返回全部”信息)。
例如,假定有一个对 DevTools 表的全文索引。全文索引可能指出在 Abstract 列的第 423 个和第 982 个单词处找到了单词 Microsoft,所在的行与 ProductID 6 关联。该索引结构支持对所有包含被索引单词的项进行有效检索,以及高级检索操作,如短语检索和邻近检索。
为防止全文索引因包含很多对检索没有帮助的词而变得臃肿,a、and、is 或 the 这类额外的词都忽略不计。例如,指定"the products ordered during these summer months"与指定"products ordered during summer months"是一样的。有这两个字符串的行都会被返回。
目录 \Mssql\Ftdata\Sqlserver\Config 下提供了多种语言的干扰词列表。在安装带有全文检索支持的 Microsoft® SQL Server? 时会创建这个目录,并同时安装干扰词文件。干扰词文件可以编辑。例如,高技术公司的系统管理员可以把单词 computer 添加到他们的干扰词表中去。(如果编辑干扰词文件,则必须在更改生效之前重新填充全文目录。)下表显示了干扰词文件及其相应的语言。
干扰词文件 语言
-------------- ---------
Noise.chs 简体中文
Noise.cht 繁体中文
Noise.dat 语言中性
Noise.deu 德语
Noise.eng 英语(英国)
Noise.enu 英语(美国)
Noise.esn 西班牙语
Noise.fra 法语
Noise.ita 意大利语
Noise.jpn 日语
Noise.kor 韩文
Noise.nld 荷兰语
Noise.sve 瑞典语
在处理全文查询时,检索引擎将满足检条件的行的键值返回给 Microsoft SQL Server。比如有一个 SciFi 表,其中 Book_No 列是主键列。
Book_No Writer Title
-------- ----------- --------------------------
A025 Asimov Foundation's Edge
A027 Asimov Foundation and Empire
C011 Clarke Childhood's End
V109 Verne Mysterious Island
假定想使用一个全文检索查询来查找包含单词 Foundation 的书名。在本例中,将从全文索引获得值 A025 和 A027。然后 SQL Server 用这些键值和其它栏的信息响应该查询。