MySQL全文本搜索

前提条件

• MySQL版本必须大于5.7.6，小于这个版本只支持英文全文索引，不支持中文，需要利用分词器把中文段落预处理拆分成单词，然后存入数据库。

• 前置条件需要用到FULLTEXT索引，所以数据表引擎必须使用MyISAM，建立全文检索的字段类型必须是char,varchar,text。

• 对于大的数据库，将数据装载到一个没有 FULLTEXT 索引的表中，然后再使用 ALTER TABLE   (或 CREATE INDEX) 创建索引，这将是非常快的。而将数据装载到一个已经有 FULLTEXT 索引的表中，是非常慢的。

• MySQL 中使用全局变量ngram_token_size来配置ngram中n的大小，它的取值范围是1到10，默认值是2。通常ngram_token_size设置为要查询的单词的最小字数。如果需要搜索单字，就要把ngram_token_size设置为1。在默认值是2的情况下，搜索单字是得不到任何结果的。因为中文单词最少是两个汉字，推荐使用默认值2。

• 索引全文本数据时，短词被忽略且从索引中排除。短词定义为那些具有3个或3个以下字符的词（如果需要，这个数目可以更改）。

• 许多词出现的频率很高，搜索它们没有用处（返回太多的结果）。因此，MySQL规定了一条50%规则，如果一个词出现在50%以上的行中，则将它作为一个非用词忽略。50%规则不用于IN BOOLEAN MODE。

• 如果表中的行数少于3行，则全文本搜索不返回结果（因为每个词或者不出现，或者至少出现在50%的行中）。

• 忽略词中的单引号。例如，don't索引为dont。

• 不具有词分隔符（包括日语和汉语）的语言不能恰当地返回全文本搜索结果。

全文本搜索

进行全文本搜索

SELECT note_text 
FROM table_name
WHERE Match(note_text) Against('search_text')

• Match()指定被搜索的列，Against()指定要使用的搜索表达式。

• 使用完整的 Match() 说明传递给 Match() 的值必须与FULLTEXT()定义中的相同。如果指定多个列，则必须列出它们（而且次序正确）。

• 搜索不区分大小写 除非使用BINARY方式，否则全文本搜索不区分大小写。

进行全文本搜索后匹配等级

select note_text,match(note_text) AGAINST('search_text')AS rank 
FROM table_name;

• Match()和Against()用来建立一个计算列（别名为rank），此列包含全文本搜索计算出的等级值。等级由MySQL根据行中词的数目、唯一词的数目、整个索引中词的总数以及包含该词的行的数目计算出来。不包含词search_text的行等级为0（因此不被前一例子中WHERE子句选择）。确实包含词search_text的每行都有一个等级值，文本中词靠前的行的等级值比词靠后的行的等级值高。

• 排序多个搜索项，如果指定多个搜索项，则包含多数匹配词的那些行将具有比包含较少词（或仅有一个匹配）的那些行高的等级值。

进行全文本搜索使用查询扩展

SELECT note_text 
FROM table_name
Match(note_text) Against('search_text' WITH QUERY EXPANSION);

例如：

SELECT note_text FROM productnotes Match(note_text) Against('anvils' WITH QUERY EXPANSION);

结果：

Multiple customer returns，anvils failing to drop fast enough orfal7ing backwards on purchaser. Recommend that customer considersusing heavier anvils.
Customer complaint: Sticks not individually wrapped，too easy tomistakenly detonate all at once. Recommend individua7 wrapping.Customer complaint: Not heavy enough to generate flying starsaround headof victim. If being purchased for dropping，recommendANVO2 or ANVO3 instead.
Please note that no returns wil7 be accepted if safe opened usingexplosives .
Customer complaint: rabbit has been able to detect trap，foodapparently less effective now .
Customer complaint: Circular hole in safe floor can apparently beeasily cut with handsaw.
Matches not included，recommend purchase of matches or detonator(item DTNTR).

• 这次返回了7行。第一行包含词anvils，因此等级最高。第二行与anvils无关，但因为它包含第一行中的两个词（customer和recommend），所以也被检索出来。第3行也包含这两个相同的词，但它们在文本中的位置更靠后且分开得更远，因此也包含这一行，但等级为第三。第三行确实也没有涉及anvils（按它们的产品名）。

• 正如所见，查询扩展极大地增加了返回的行数，但这样做也增加了你实际上并不想要的行的数目。

布尔文本搜索

SELECT note_text 
FROM table_name
WHERE Match(note_text) Against('表达式' IN BOOLEAN MODE)

例如：匹配note_text中带有shx的，且不包含big的。

SELECT note_text 
FROM table_name
WHERE Match(note_text) Against('+shx -big' IN BOOLEAN MODE)

全文本布尔操作符