Guida all'uso di zhparser

zhparser è un modulo di estensione di terze parti per PostgreSQL, progettato specificamente per la gestione di testi in cinese. Fornisce funzioni efficienti di segmentazione e ricerca, adatte a vari scenari di elaborazione di testi cinesi. ServBay include scws (Simple Chinese Word Segmentation), che zhparser può utilizzare per creare dizionari personalizzati. Questo documento introduce come installare e utilizzare zhparser in ServBay.

Installazione di zhparser

ServBay include già il modulo di estensione zhparser, è sufficiente abilitarlo nel database. Di seguito sono riportati i passaggi per abilitare zhparser:

1. Connettersi al database PostgreSQL:

   psql -U your_username -d your_database

2. Creare l'estensione:

   CREATE EXTENSION zhparser;

3. Verificare l'installazione:

   \dx

Configurazione di zhparser

Dopo aver abilitato zhparser, è necessario configurarlo affinché possa eseguire correttamente la segmentazione e la ricerca testuale in cinese.

Configurazione della ricerca testuale

1. Creare la configurazione per la ricerca testuale:

   CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = zhparser);

2. Aggiungere il dizionario:

   ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;

Uso di zhparser per la ricerca testuale

Ecco un esempio che mostra come utilizzare zhparser per la ricerca testuale.

Creazione della tabella e dei dati di esempio

1. Creare una tabella:

   CREATE TABLE documents (
       id SERIAL PRIMARY KEY,
       content TEXT
   );

2. Inserire dati di esempio:

   INSERT INTO documents (content) VALUES
   ('Amo il trattamento del linguaggio naturale'),
   ('La segmentazione cinese è un passaggio importante nell'elaborazione dei testi'),
   ('zhparser è un ottimo strumento di segmentazione cinese');

Creazione dell'indice per la ricerca testuale

1. Creare un indice GIN:

   CREATE INDEX idx_gin_content ON documents USING gin (to_tsvector('chinese', content));

Esecuzione di una query di ricerca testuale

1. Eseguire una query di ricerca:

   SELECT * FROM documents
   WHERE to_tsvector('chinese', content) @@ to_tsquery('chinese', 'segmentazione & cinese');

   Questa query restituirà i documenti contenenti entrambe le parole "segmentazione" e "cinese".

Dizionario personalizzato

ServBay include scws, che può essere utilizzato per creare dizionari personalizzati per meglio soddisfare esigenze applicative specifiche.

Aggiunta di vocaboli personalizzati

1. Creare un file di dizionario personalizzato:

   /Applications/ServBay/etc/scws/custom_dict.txt

2. Aggiungere vocaboli al file, uno per riga:

   Trattamento del linguaggio naturale
   Segmentazione cinese

3. Configurare zhparser per utilizzare il dizionario personalizzato:

   SET zhparser.dict_path = '/Applications/ServBay/etc/scws/custom_dict.txt';

Ricarica del dizionario

1. Ricaricare il dizionario:

   SELECT zhprs_reload_dict();

Modifica della modalità di segmentazione

zhparser supporta diverse modalità di segmentazione, che possono essere regolate in base alle esigenze.

Impostazione della modalità di segmentazione

1. Impostare la modalità di segmentazione al livello di granularità più fine:

   SET zhparser.seg_with_duality = true;

2. Impostare la modalità di segmentazione al livello di granularità massima:

   SET zhparser.seg_with_duality = false;

Conclusione

zhparser è uno strumento potente per la segmentazione del cinese, che consente di implementare una ricerca testuale efficiente in PostgreSQL con semplici configurazioni e utilizzo. ServBay include già il modulo di estensione zhparser insieme a scws, che può essere utilizzato per creare dizionari personalizzati. Modificando il dizionario e la modalità di segmentazione, è possibile ottimizzare ulteriormente la segmentazione per soddisfare specifiche esigenze applicative.