Postgresql 中文操作指南
12.5. Parsers #
文本搜索解析器负责将原始文档文本拆分为 tokens 并识别每个令牌的类型，其中可能的类型是由解析器本身定义的。请注意，解析器不会完全修改文本，只识别可能的单词边界。由于其作用域有限，因此对特定于应用程序的自定义解析器的需求低于自定义词典。目前，PostgreSQL 只提供一个内置的解析器，该解析器已证明可用于各种应用程序。
内置解析器名为 pg_catalog.default。它识别 23 种标记类型，如 Table 12.1 中所示。
Table 12.1. Default Parser’s Token Types
Alias |
Description |
Example |
asciiword |
Word, all ASCII letters |
elephant |
word |
Word, all letters |
mañana |
numword |
Word, letters and digits |
beta1 |
asciihword |
Hyphenated word, all ASCII |
up-to-date |
hword |
Hyphenated word, all letters |
lógico-matemática |
numhword |
连字符连接的单词、字母和数字 |
postgresql-beta1 |
hword_asciipart |
连字符连接的单词部分，所有都是 ASCII |
postgresql 在上下文中 postgresql-beta1 |
hword_part |
连字符连接的单词部分，所有都是字母 |
lógico 或 matemática 在上下文中 lógico-matemática |
hword_numpart |
连字符连接的单词部分，字母和数字 |
beta1 在上下文中 postgresql-beta1 |
Email address |
foo@example.com |
|
protocol |
Protocol head |
http:// |
url |
URL |
example.com/stuff/index.html |
host |
Host |
example.com |
url_path |
URL path |
/stuff/index.html ，在 URL 上下文中 |
file |
File or path name |
/usr/local/foo.txt ，如果没有在 URL 中 |
sfloat |
Scientific notation |
-1.234e56 |
float |
Decimal notation |
-1.234 |
int |
Signed integer |
-1234 |
uint |
Unsigned integer |
1234 |
version |
Version number |
8.3.0 |
tag |
XML tag |
<a href="dictionaries.html"> |
entity |
XML entity |
& |
blank |
Space symbols |
（任何空格或标点符号未被以其他方式识别） |
Note
解析器对“字母”的概念取决于数据库的区域设置，具体为 lc_ctype。仅包含基本 ASCII 字母的单词会报告为一个单独的令牌类型，因为有时区分它们很有用。在大多数欧洲语言中，令牌类型 word 和 asciiword 应得到同等对待。
email 不支持 RFC 5322 中定义的所有有效电子邮件字符。具体来说，电子邮件用户名支持的唯一非字母数字字符是句点、连字符和下划线。
解析器有可能根据同一文本片段产生重叠的令牌。例如，连字符词将被报告为整个单词和每个组成部分：
SELECT alias, description, token FROM ts_debug('foo-bar-beta1');
alias | description | token
-----------------+------------------------------------------+---------------
numhword | Hyphenated word, letters and digits | foo-bar-beta1
hword_asciipart | Hyphenated word part, all ASCII | foo
blank | Space symbols | -
hword_asciipart | Hyphenated word part, all ASCII | bar
blank | Space symbols | -
hword_numpart | Hyphenated word part, letters and digits | beta1这种行为是理想的，因为它允许搜索对整个复合词和组成部分都起作用。这里有另一个有启发性的示例：
SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');
alias | description | token
----------+---------------+------------------------------
protocol | Protocol head | http://
url | URL | example.com/stuff/index.html
host | Host | example.com
url_path | URL path | /stuff/index.html