Guide d'utilisation de zhparser

zhparser est un module d'extension tiers pour PostgreSQL, spécialement conçu pour traiter le texte chinois. Il offre des fonctionnalités de segmentation et de recherche efficaces, adaptées à divers scénarios de traitement de texte chinois. ServBay inclut scws (Simple Chinese Word Segmentation), et zhparser peut utiliser scws pour créer des dictionnaires personnalisés. Cet article présente en détail comment installer et utiliser zhparser dans ServBay.

Installation de zhparser

ServBay inclut déjà le module d'extension zhparser, vous devez simplement l'activer dans la base de données. Voici les étapes pour activer zhparser :

1. Connexion à la base de données PostgreSQL :

   psql -U your_username -d your_database

2. Création de l'extension :

   CREATE EXTENSION zhparser;

3. Vérification de l'installation :

   \dx

Configuration de zhparser

Après l'activation de zhparser, vous devez effectuer quelques configurations afin qu'il puisse correctement segmenter le texte chinois et effectuer des recherches en texte intégral.

Configuration de la recherche en texte intégral (Text Search Configuration)

1. Création d'une configuration de recherche en texte intégral :

   CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = zhparser);

2. Ajout de dictionnaires :

   ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;

Utilisation de zhparser pour la recherche en texte intégral

Voici un exemple montrant comment utiliser zhparser pour effectuer une recherche en texte intégral.

Création d'une table et de données d'exemple

1. Création d'une table :

   CREATE TABLE documents (
       id SERIAL PRIMARY KEY,
       content TEXT
   );

2. Insertion de données d'exemple :

   INSERT INTO documents (content) VALUES
   ('我爱自然语言处理'),
   ('中文分词是文本处理的重要步骤'),
   ('zhparser是一个很好的中文分词工具');

Création d'un index de recherche en texte intégral

1. Création d'un index GIN :

   CREATE INDEX idx_gin_content ON documents USING gin (to_tsvector('chinese', content));

Exécution de la recherche en texte intégral

1. Exécution de la requête de recherche :

   SELECT * FROM documents
   WHERE to_tsvector('chinese', content) @@ to_tsquery('chinese', '中文 & 分词');

   Cette requête renverra les documents contenant les mots "中文" et "分词".

Dictionnaires personnalisés

ServBay inclut scws, et vous pouvez utiliser scws pour créer des dictionnaires personnalisés afin de mieux répondre aux besoins des applications spécifiques.

Ajout de vocabulaire personnalisé

1. Création d'un fichier de dictionnaire personnalisé :

   /Applications/ServBay/etc/scws/custom_dict.txt

2. Ajout de vocabulaire au fichier, un mot par ligne :

   自然语言处理
   中文分词

3. Configuration de zhparser pour utiliser le dictionnaire personnalisé :

   SET zhparser.dict_path = '/Applications/ServBay/etc/scws/custom_dict.txt';

Rechargement du dictionnaire

1. Rechargement du dictionnaire :

   SELECT zhprs_reload_dict();

Ajustement du mode de segmentation

zhparser supporte plusieurs modes de segmentation, que vous pouvez ajuster selon vos besoins.

Configuration du mode de segmentation

1. Configuration du mode de segmentation pour la segmentation la plus fine :

   SET zhparser.seg_with_duality = true;

2. Configuration du mode de segmentation pour la segmentation la plus large :

   SET zhparser.seg_with_duality = false;

Résumé

zhparser est un outil puissant de segmentation du texte chinois. Avec une configuration simple, vous pouvez effectuer des recherches en texte intégral efficaces dans PostgreSQL. ServBay inclut déjà le module d'extension zhparser ainsi que scws, que vous pouvez utiliser pour créer des dictionnaires personnalisés. En personnalisant les dictionnaires et en ajustant les modes de segmentation, vous pouvez encore améliorer les résultats de la segmentation pour répondre aux exigences spécifiques de votre application.