zhparser Руководство

zhparser - это сторонний модуль для PostgreSQL, специально разработанный для работы с китайскими текстами. Он предоставляет эффективные функции токенизации и поиска, подходящие для различных сценариев обработки китайских текстов. ServBay поставляется с scws (Simple Chinese Word Segmentation), и zhparser может использовать scws для создания пользовательских словарей. В этой статье подробно рассказывается, как установить и использовать zhparser в ServBay.

Установка zhparser

ServBay уже включает расширение zhparser, вам нужно только активировать его в базе данных. Вот шаги по активации zhparser:

1. Подключение к базе данных PostgreSQL:

   psql -U ваше_имя_пользователя -d ваша_база_данных

2. Создание расширения:

   CREATE EXTENSION zhparser;

3. Проверка установки:

   \dx

Настройка zhparser

После активации zhparser нужно выполнить некоторые настройки, чтобы он мог правильно выполнять токенизацию и полнотекстовый поиск по китайским текстам.

Настройка конфигурации текстового поиска

1. Создание конфигурации текстового поиска:

   CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = zhparser);

2. Добавление словаря:

   ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;

Использование zhparser для полнотекстового поиска

Ниже приведен пример, показывающий, как использовать zhparser для полнотекстового поиска.

Создание образцовой таблицы и данных

1. Создание таблицы:

   CREATE TABLE documents (
       id SERIAL PRIMARY KEY,
       content TEXT
   );

2. Вставка образцовых данных:

   INSERT INTO documents (content) VALUES
   ('我爱自然语言处理'),
   ('中文分词是文本处理的重要步骤'),
   ('zhparser是一个很好的中文分词工具');

Создание полнотекстового поискового индекса

1. Создание GIN индекса:

   CREATE INDEX idx_gin_content ON documents USING gin (to_tsvector('chinese', content));

Выполнение полнотекстового поиска

1. Выполнение поискового запроса:

   SELECT * FROM documents
   WHERE to_tsvector('chinese', content) @@ to_tsquery('chinese', '中文 & 分词');

   Этот запрос вернет документы, содержащие оба слова "中文" и "分词".

Настройка пользовательского словаря

ServBay поставляется с scws, вы можете использовать scws для создания собственных словарей, чтобы лучше удовлетворить конкретные требования приложений.

Добавление пользовательских слов

1. Создание файла пользовательского словаря:

   /Applications/ServBay/etc/scws/custom_dict.txt

2. Добавление слов в файл, по одному на строку:

   自然语言处理
   中文分词

3. Настройка zhparser для использования пользовательского словаря:

   SET zhparser.dict_path = '/Applications/ServBay/etc/scws/custom_dict.txt';

Перезагрузка словаря

1. Перезагрузка словаря:

   SELECT zhprs_reload_dict();

Настройка режима токенизации

zhparser поддерживает различные режимы токенизации, которые вы можете настраивать в зависимости от ваших потребностей.

Настройка режима токенизации

1. Установка режима токенизации на минимальную гранулярность:

   SET zhparser.seg_with_duality = true;

2. Установка режима токенизации на максимальную гранулярность:

   SET zhparser.seg_with_duality = false;

Резюме

zhparser - это мощный инструмент токенизации для китайского языка, который позволяет реализовать эффективный полнотекстовый поиск в PostgreSQL с помощью простой настройки и использования. ServBay уже включает расширение zhparser и scws, с помощью которого вы можете создавать собственные словари. Настраивая пользовательские словари и режимы токенизации, вы можете дополнительно оптимизировать процесс токенизации для удовлетворения конкретных потребностей приложений.