Documentazione SCWS

SCWS (Simple Chinese Word Segmentation) è un sistema efficiente di segmentazione delle parole cinesi, adatto per vari compiti di elaborazione del testo cinese. ServBay include già SCWS e il suo modulo PHP preinstallati. Questo documento fornirà dettagli su come installare, configurare e utilizzare SCWS.

Sommario

• Sommario
• Installazione e Configurazione
  • Installazione
  • Configurazione
• Utilizzo di Base
  • Esempi di Segmentazione
• Utilizzo Avanzato
  • Dizionario Personalizzato
  • Regolare le Regole di Segmentazione
• Utilizzo dell'API PHP
  • Esempio di Utilizzo
  • Funzioni Comuni
• Problemi Comuni
  • 1. Risultati della Segmentazione SCWS Non Accurati
  • 2. Prestazioni SCWS Scarse
  • 3. Lo Strumento a Riga di Comando SCWS Non Funziona
• Conclusione

Installazione e Configurazione

Installazione

ServBay include già SCWS e il suo modulo PHP, quindi non è necessaria un'installazione aggiuntiva.

Configurazione

Il file di configurazione di SCWS si trova nella directory /Applications/ServBay/etc/scws, con il file di configurazione predefinito denominato scws.ini. È possibile modificare il file di configurazione secondo necessità per regolare il comportamento della segmentazione.

Esempio di contenuto del file di configurazione:

[charset]
default = utf8

[rule]
rules = /Applications/ServBay/etc/scws/rules.ini

[dict]
dict = /Applications/ServBay/etc/scws/dict.utf8.xdb

Utilizzo di Base

SCWS fornisce uno strumento da riga di comando scws per segmentare il testo. Ecco alcuni esempi di utilizzo di base:

Esempi di Segmentazione

Segmentare una stringa

echo "这是一个中文分词的例子" | scws -i

Leggere testo da un file per segmentare

scws -i input.txt -o output.txt

Specificare regole di segmentazione

scws -i input.txt -o output.txt -r /path/to/rules.ini

Specificare il dizionario

scws -i input.txt -o output.txt -d /path/to/dict.utf8.xdb

Utilizzo Avanzato

Dizionario Personalizzato

È possibile creare un dizionario personalizzato per migliorare l'accuratezza della segmentazione. Il dizionario personalizzato deve essere nel formato xdb e può essere generato utilizzando lo strumento scws-gen.

Creare un Dizionario Personalizzato

1. Creare un file di testo per il dizionario custom_dict.txt con il seguente contenuto:

   自定义词1 1
   自定义词2 2

2. Utilizzare lo strumento scws-gen per generare il dizionario:

   scws-gen -i custom_dict.txt -o custom_dict.xdb

3. Specificare il dizionario personalizzato nel file di configurazione:

   [dict]
   dict = /Applications/ServBay/etc/scws/dict.utf8.xdb,/path/to/custom_dict.xdb

Regolare le Regole di Segmentazione

Il file delle regole di segmentazione rules.ini definisce come segmentare il testo e può essere modificato secondo necessità. Il file delle regole predefinito si trova in /Applications/ServBay/etc/scws/rules.ini.

Esempio di contenuto del file delle regole:

[rule]
# Regole di segmentazione personalizzate

Utilizzo dell'API PHP

Il PHP preinstallato di ServBay include il modulo SCWS, quindi è possibile utilizzare SCWS direttamente nel codice PHP per segmentare il testo cinese.

Esempio di Utilizzo

1. Utilizzare SCWS nel codice PHP:

   <?php
   // Apri il segmentatore SCWS
   $sh = scws_open();
   
   // Imposta il set di caratteri
   scws_set_charset($sh, 'utf8');
   
   // Imposta il dizionario e le regole di segmentazione
   scws_set_dict($sh, '/Applications/ServBay/etc/scws/dict.utf8.xdb');
   scws_set_rule($sh, '/Applications/ServBay/etc/scws/rules.ini');
   
   // Invia il testo da segmentare
   scws_send_text($sh, "这是一个中文分词的例子");
   
   // Ottieni i risultati della segmentazione
   while ($res = scws_get_result($sh)) {
       foreach ($res as $word) {
           echo $word['word'], "\n";
       }
   }
   
   // Chiudi il segmentatore SCWS
   scws_close($sh);
   ?>

Funzioni Comuni

• scws_open(): Apre un'istanza del segmentatore SCWS
• scws_set_charset($sh, $charset): Imposta il set di caratteri
• scws_set_dict($sh, $dict_path): Imposta il percorso del dizionario
• scws_set_rule($sh, $rule_path): Imposta il percorso delle regole di segmentazione
• scws_send_text($sh, $text): Invia il testo da segmentare
• scws_get_result($sh): Ottieni i risultati della segmentazione
• scws_close($sh): Chiudi l'istanza del segmentatore SCWS

Problemi Comuni

1. Risultati della Segmentazione SCWS Non Accurati

• Soluzione: Verificare che il dizionario e i file delle regole siano configurati correttamente. È possibile provare a utilizzare un dizionario personalizzato e regolare le regole di segmentazione per migliorare l'accuratezza.

2. Prestazioni SCWS Scarse

• Soluzione: Assicurarsi che SCWS utilizzi un formato del dizionario efficiente (come xdb) e che sia specificato correttamente nel file di configurazione.

3. Lo Strumento a Riga di Comando SCWS Non Funziona

• Soluzione: Verificare che SCWS sia installato correttamente e che i percorsi dei file di configurazione siano corretti. Se il problema persiste, consultare i log degli errori per ulteriori informazioni.

Conclusione

SCWS è un sistema efficiente di segmentazione delle parole cinesi, adatto per vari compiti di elaborazione del testo cinese. Questo documento ha illustrato come installare, configurare e utilizzare SCWS in ServBay per segmentare il testo cinese.