Guide d'utilisation de pg_jieba

pg_jieba est un module d'extension tiers pour PostgreSQL basé sur la bibliothèque de segmentation Jieba, spécialement conçu pour la recherche en texte intégral en chinois. Il permet de segmenter efficacement le texte chinois afin de prendre en charge la recherche en texte intégral. Cet article présente en détail comment installer et utiliser pg_jieba dans ServBay.

Installation de pg_jieba

ServBay est déjà équipé du module d'extension pg_jieba, vous n'avez qu'à l'activer dans la base de données. Voici les étapes pour activer pg_jieba :

1. Connectez-vous à la base de données PostgreSQL :

   psql -U votre_nom_utilisateur -d votre_base_de_données

2. Créez l'extension :

   CREATE EXTENSION pg_jieba;

3. Vérifiez l'installation :

   \dx

Configuration de pg_jieba

Après avoir activé pg_jieba, vous devez effectuer quelques configurations pour qu'il puisse correctement segmenter le texte chinois et prendre en charge la recherche en texte intégral.

Configurer la configuration de recherche en texte (Text Search Configuration)

1. Créer la configuration de recherche en texte :

   CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = pg_jieba);

2. Ajouter des dictionnaires :

   ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;

Utilisation de pg_jieba pour la recherche en texte intégral

Voici un exemple montrant comment utiliser pg_jieba pour effectuer une recherche en texte intégral.

Créer une table et des données d'exemple

1. Créer une table :

   CREATE TABLE documents (
       id SERIAL PRIMARY KEY,
       content TEXT
   );

2. Insérer des données d'exemple :

   INSERT INTO documents (content) VALUES
   ('我爱自然语言处理'),
   ('中文分词是文本处理的重要步骤'),
   ('pg_jieba是一个很好的中文分词工具');

Créer un index de recherche en texte intégral

1. Créer un index GIN :

   CREATE INDEX idx_gin_content ON documents USING gin (to_tsvector('chinese', content));

Effectuer une recherche en texte intégral

1. Exécuter une requête de recherche :

   SELECT * FROM documents
   WHERE to_tsvector('chinese', content) @@ to_tsquery('chinese', '中文 & 分词');

   Cette requête retournera les documents contenant les mots « 中文 » et « 分词 ».

Personnaliser le dictionnaire

Vous pouvez personnaliser le dictionnaire de pg_jieba pour mieux répondre aux besoins spécifiques de votre application.

Ajouter des termes personnalisés

1. Créer un fichier de dictionnaire personnalisé :

   /Applications/ServBay/etc/scws/custom_dict.txt

2. Ajouter des termes dans le fichier, un terme par ligne :

   自然语言处理
   中文分词

3. Configurer pg_jieba pour utiliser le dictionnaire personnalisé :

   SET pg_jieba.dict_path = '/Applications/ServBay/etc/scws/custom_dict.txt';

Recharger le dictionnaire

1. Recharger le dictionnaire :

   SELECT jieba_reload_dict();

Conclusion

pg_jieba est un outil puissant de segmentation en chinois qui, grâce à une configuration et une utilisation simples, vous permet de réaliser une recherche en texte intégral efficace dans PostgreSQL. ServBay est déjà équipé du module d'extension pg_jieba, vous n'avez qu'à suivre les étapes de cet article pour l'installer et le configurer. Grâce à un dictionnaire personnalisé, vous pouvez également optimiser encore plus la segmentation pour répondre aux besoins spécifiques de votre application.