Guia de Uso do pg_jieba

pg_jieba é um módulo de extensão de terceiros para PostgreSQL, baseado na biblioteca Jieba de segmentação de texto, especificamente projetado para busca de texto completo em chinês. Ele pode segmentar eficientemente textos em chinês, suportando assim a funcionalidade de busca completa. Este artigo detalha como instalar e usar pg_jieba no ServBay.

Instalando o pg_jieba

O ServBay já vem com o módulo de extensão pg_jieba, você apenas precisa habilitá-lo no banco de dados. Aqui estão os passos para habilitar o pg_jieba:

1. Conectar ao banco de dados PostgreSQL:

   psql -U your_username -d your_database

2. Criar a extensão:

   CREATE EXTENSION pg_jieba;

3. Verificar a instalação:

   \dx

Configurando o pg_jieba

Depois de habilitar o pg_jieba, você precisa fazer algumas configurações para que ele possa realizar a segmentação de texto chinês corretamente e buscar textos completos.

Configurar a Configuração de Busca de Texto

1. Criar uma configuração de busca de texto:

   CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = pg_jieba);

2. Adicionar dicionário:

   ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;

Usando o pg_jieba para Busca de Texto Completo

Aqui está um exemplo mostrando como usar pg_jieba para busca de texto completo.

Criar tabela de exemplo e dados

1. Criar tabela:

   CREATE TABLE documents (
       id SERIAL PRIMARY KEY,
       content TEXT
   );

2. Inserir dados de exemplo:

   INSERT INTO documents (content) VALUES
   ('我爱自然语言处理'),
   ('中文分词是文本处理的重要步骤'),
   ('pg_jieba是一个很好的中文分词工具');

Criar índice de busca completa

1. Criar índice GIN:

   CREATE INDEX idx_gin_content ON documents USING gin (to_tsvector('chinese', content));

Executar a busca completa

1. Executar consulta de busca:

   SELECT * FROM documents
   WHERE to_tsvector('chinese', content) @@ to_tsquery('chinese', '中文 & 分词');

   Essa consulta retornará os documentos que contêm as palavras "中文" e "分词".

Dicionário Personalizado

Você pode personalizar o dicionário do pg_jieba para melhor atender às necessidades de aplicações específicas.

Adicionar Vocabulário Personalizado

1. Criar arquivo de dicionário personalizado:

   /Applications/ServBay/etc/scws/custom_dict.txt

2. Adicionar vocabulário no arquivo, uma palavra por linha:

   自然语言处理
   中文分词

3. Configurar o pg_jieba para usar o dicionário personalizado:

   SET pg_jieba.dict_path = '/Applications/ServBay/etc/scws/custom_dict.txt';

Recarregar o Dicionário

1. Recarregar o dicionário:

   SELECT jieba_reload_dict();

Resumo

pg_jieba é uma poderosa ferramenta de segmentação de texto chinês que, com configurações e uso simples, permite realizar buscas de texto completo eficientes no PostgreSQL. O ServBay já inclui o módulo de extensão pg_jieba, bastando seguir os passos deste artigo para instalar e configurar. Por meio de dicionários personalizados, você pode ainda otimizar os resultados de segmentação para atender necessidades específicas de aplicativos.