Guia de Uso do zhparser

zhparser é um módulo de extensão de terceiros para PostgreSQL, projetado especificamente para lidar com texto em chinês. Ele oferece funções eficientes de segmentação e pesquisa, adequadas para diversos cenários de processamento de texto em chinês. ServBay vem com scws (Segmentação de Palavras em Chinês Simples), e zhparser pode usar scws para criar um dicionário personalizado. Este documento detalha como instalar e usar zhparser no ServBay.

Instalando zhparser

ServBay já inclui o módulo de extensão zhparser, você só precisa habilitá-lo no banco de dados. Aqui estão os passos para habilitar zhparser:

1. Conecte-se ao banco de dados PostgreSQL:

   psql -U your_username -d your_database

2. Crie a extensão:

   CREATE EXTENSION zhparser;

3. Verifique a instalação:

   \dx

Configurando zhparser

Depois de habilitar zhparser, você precisará realizar algumas configurações para que ele possa segmentar e fazer buscas de texto em chinês corretamente.

Configurar a Configuração de Pesquisa de Texto (Text Search Configuration)

1. Crie a configuração de pesquisa de texto:

   CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = zhparser);

2. Adicione o dicionário:

   ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;

Usando zhparser para Pesquisa de Texto Completo

Abaixo está um exemplo que mostra como usar zhparser para pesquisa de texto completo.

Criar Tabela e Dados de Exemplo

1. Crie a tabela:

   CREATE TABLE documents (
       id SERIAL PRIMARY KEY,
       content TEXT
   );

2. Insira dados de exemplo:

   INSERT INTO documents (content) VALUES
   ('我爱自然语言处理'),
   ('中文分词是文本处理的重要步骤'),
   ('zhparser是一个很好的中文分词工具');

Criar Índice de Pesquisa Completa

1. Crie o índice GIN:

   CREATE INDEX idx_gin_content ON documents USING gin (to_tsvector('chinese', content));

Executar Pesquisa Completa

1. Execute a consulta de pesquisa:

   SELECT * FROM documents
   WHERE to_tsvector('chinese', content) @@ to_tsquery('chinese', '中文 & 分词');

   A consulta retornará os documentos que contêm as palavras "中文" e "分词".

Dicionário Personalizado

ServBay vem com scws, você pode usar scws para criar seu próprio dicionário personalizado para melhor atender às necessidades específicas de sua aplicação.

Adicionar Vocabulário Personalizado

1. Crie o arquivo de dicionário personalizado:

   /Applications/ServBay/etc/scws/custom_dict.txt

2. Adicione vocabulário ao arquivo, uma palavra por linha:

   自然语言处理
   中文分词

3. Configure zhparser para usar o dicionário personalizado:

   SET zhparser.dict_path = '/Applications/ServBay/etc/scws/custom_dict.txt';

Recarregar o Dicionário

1. Recarregue o dicionário:

   SELECT zhprs_reload_dict();

Ajustar o Modo de Segmentação

zhparser suporta vários modos de segmentação, você pode ajustá-los conforme necessário.

Configurar o Modo de Segmentação

1. Configurar para a segmentação de menor granularidade:

   SET zhparser.seg_with_duality = true;

2. Configurar para a segmentação de maior granularidade:

   SET zhparser.seg_with_duality = false;

Conclusão

zhparser é uma poderosa ferramenta de segmentação de texto em chinês. Com configurações simples, você pode realizar buscas eficientes de texto completo em chinês no PostgreSQL. ServBay já vem com o módulo de extensão zhparser e inclui scws, permitindo que você crie um dicionário personalizado. Com um dicionário personalizado e ajustes no modo de segmentação, você pode otimizar ainda mais os resultados de segmentação para atender às necessidades específicas de sua aplicação.