Guía de uso de zhparser

zhparser es un módulo de extensión de terceros para PostgreSQL, diseñado específicamente para procesar texto en chino. Proporciona funciones eficientes de segmentación y búsqueda, y es adecuado para diversas situaciones de procesamiento de texto en chino. ServBay viene equipado con scws (Segmentación Simple de Palabras Chinas), que puede ser utilizado por zhparser para crear diccionarios personalizados. Este artículo detalla cómo instalar y utilizar zhparser en ServBay.

Instalación de zhparser

ServBay ya incluye el módulo de extensión zhparser, solo necesita habilitarlo en la base de datos. Aquí están los pasos para habilitar zhparser:

1. Conectarse a la base de datos PostgreSQL:

   psql -U your_username -d your_database

2. Crear la extensión:

   CREATE EXTENSION zhparser;

3. Verificar la instalación:

   \dx

Configuración de zhparser

Después de habilitar zhparser, necesita configurar algunas cosas para que pueda realizar segmentación de texto y búsquedas en chino correctamente.

Configurar la Configuración de Búsqueda de Texto

1. Crear la configuración de búsqueda de texto:

   CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = zhparser);

2. Agregar diccionario:

   ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;

Uso de zhparser para búsqueda de texto completo

Aquí hay un ejemplo que muestra cómo utilizar zhparser para realizar búsqueda de texto completo.

Crear tabla y datos de ejemplo

1. Crear tabla:

   CREATE TABLE documents (
       id SERIAL PRIMARY KEY,
       content TEXT
   );

2. Insertar datos de ejemplo:

   INSERT INTO documents (content) VALUES
   ('我爱自然语言处理'),
   ('中文分词是文本处理的重要步骤'),
   ('zhparser是一个很好的中文分词工具');

Crear índice de búsqueda de texto completo

1. Crear índice GIN:

   CREATE INDEX idx_gin_content ON documents USING gin (to_tsvector('chinese', content));

Ejecutar búsqueda de texto completo

1. Ejecutar consulta de búsqueda:

   SELECT * FROM documents
   WHERE to_tsvector('chinese', content) @@ to_tsquery('chinese', '中文 & 分词');

   Esta consulta devolverá los documentos que contienen las palabras "中文" y "分词".

Diccionario personalizado

ServBay viene con scws, puede usar scws para crear un diccionario personalizado para satisfacer mejor las necesidades específicas de la aplicación.

Agregar vocabulario personalizado

1. Crear archivo de diccionario personalizado:

   /Applications/ServBay/etc/scws/custom_dict.txt

2. Agregar palabras al archivo, una por línea:

   自然语言处理
   中文分词

3. Configurar zhparser para usar el diccionario personalizado:

   SET zhparser.dict_path = '/Applications/ServBay/etc/scws/custom_dict.txt';

Recargar diccionario

1. Recargar diccionario:

   SELECT zhprs_reload_dict();

Ajustar el modo de segmentación

zhparser admite varios modos de segmentación que puede ajustar según sea necesario.

Configurar modo de segmentación

1. Configurar el modo de segmentación a la segmentación de granos finos:

   SET zhparser.seg_with_duality = true;

2. Configurar el modo de segmentación a la segmentación de granos gruesos:

   SET zhparser.seg_with_duality = false;

Resumen

zhparser es una herramienta poderosa para la segmentación de texto en chino. Con una configuración y uso simples, puede implementar búsquedas de texto completo eficientes en chino en PostgreSQL. ServBay ya incluye el módulo de extensión zhparser y viene con scws, lo que le permite crear diccionarios personalizados. Mediante diccionarios personalizados y ajustes en el modo de segmentación, puede optimizar aún más la segmentación para satisfacer las necesidades específicas de la aplicación.