SCWS Documentação de Uso

SCWS (Simple Chinese Word Segmentation) é um sistema eficiente de segmentação de palavras em chinês, adequado para várias tarefas de processamento de texto em chinês. O ServBay já vem com SCWS e seu módulo PHP. Este artigo detalha os métodos de instalação, configuração e uso do SCWS.

Índice

• Índice
• Instalação e Configuração
  • Instalação
  • Configuração
• Uso Básico
  • Exemplos de Segmentação
• Uso Avançado
  • Dicionário Personalizado
  • Ajustar Regras de Segmentação
• Uso da API PHP
  • Exemplo de Uso
  • Funções Comuns
• Perguntas Frequentes
  • 1. Resultados da segmentação do SCWS não são precisos
  • 2. Desempenho do SCWS é insatisfatório
  • 3. Ferramenta de linha de comando do SCWS não funciona
• Conclusão

Instalação e Configuração

Instalação

O ServBay já vem com SCWS e seu módulo PHP, sem necessidade de instalação adicional.

Configuração

O arquivo de configuração do SCWS está localizado no diretório /Applications/ServBay/etc/scws, e o arquivo de configuração padrão é scws.ini. Você pode modificar o arquivo de configuração conforme necessário para ajustar o comportamento da segmentação.

Exemplo de conteúdo do arquivo de configuração:

[charset]
default = utf8

[rule]
rules = /Applications/ServBay/etc/scws/rules.ini

[dict]
dict = /Applications/ServBay/etc/scws/dict.utf8.xdb

Uso Básico

O SCWS fornece a ferramenta de linha de comando scws para segmentação de texto. Abaixo estão alguns exemplos básicos de uso:

Exemplos de Segmentação

Segmentar uma String

echo "这是一个中文分词的例子" | scws -i

Ler Texto de um Arquivo para Segmentação

scws -i input.txt -o output.txt

Especificar Regras de Segmentação

scws -i input.txt -o output.txt -r /path/to/rules.ini

Especificar Dicionário

scws -i input.txt -o output.txt -d /path/to/dict.utf8.xdb

Uso Avançado

Dicionário Personalizado

Você pode criar um dicionário personalizado para melhorar a precisão da segmentação. O dicionário personalizado deve ser no formato xdb e pode ser gerado usando a ferramenta scws-gen.

Criar Dicionário Personalizado

1. Crie um arquivo de texto de dicionário custom_dict.txt com o seguinte conteúdo:

   自定义词1 1
   自定义词2 2

2. Use a ferramenta scws-gen para gerar o dicionário:

   scws-gen -i custom_dict.txt -o custom_dict.xdb

3. Especifique o dicionário personalizado no arquivo de configuração:

   [dict]
   dict = /Applications/ServBay/etc/scws/dict.utf8.xdb,/path/to/custom_dict.xdb

Ajustar Regras de Segmentação

O arquivo de regras de segmentação rules.ini define como a segmentação é feita, você pode ajustá-lo conforme necessário. O arquivo de regras padrão está localizado em /Applications/ServBay/etc/scws/rules.ini.

Exemplo de conteúdo do arquivo de regras:

[rule]
# Regras de segmentação personalizadas

Uso da API PHP

O PHP fornecido pelo ServBay já inclui o módulo SCWS, permitindo que você use o SCWS diretamente no código PHP para segmentação de palavras em chinês.

Exemplo de Uso

1. Usar SCWS no código PHP:

   <?php
   // Abrir o segmentador SCWS
   $sh = scws_open();
   
   // Definir o charset
   scws_set_charset($sh, 'utf8');
   
   // Definir o dicionário e as regras de segmentação
   scws_set_dict($sh, '/Applications/ServBay/etc/scws/dict.utf8.xdb');
   scws_set_rule($sh, '/Applications/ServBay/etc/scws/rules.ini');
   
   // Enviar o texto para segmentação
   scws_send_text($sh, "这是一个中文分词的例子");
   
   // Obter os resultados da segmentação
   while ($res = scws_get_result($sh)) {
       foreach ($res as $word) {
           echo $word['word'], "\n";
       }
   }
   
   // Fechar o segmentador SCWS
   scws_close($sh);
   ?>

Funções Comuns

• scws_open(): Abre uma instância do segmentador SCWS
• scws_set_charset($sh, $charset): Define o charset
• scws_set_dict($sh, $dict_path): Define o caminho do dicionário
• scws_set_rule($sh, $rule_path): Define o caminho das regras de segmentação
• scws_send_text($sh, $text): Envia o texto para segmentação
• scws_get_result($sh): Obtém o resultado da segmentação
• scws_close($sh): Fecha a instância do segmentador SCWS

Perguntas Frequentes

1. Resultados da segmentação do SCWS não são precisos

• Solução: Verifique se o dicionário e o arquivo de regras estão configurados corretamente. Você pode tentar usar um dicionário personalizado e ajustar as regras de segmentação para melhorar a precisão.

2. Desempenho do SCWS é insatisfatório

• Solução: Certifique-se de que o SCWS está usando um formato de dicionário eficiente (como xdb) e que o caminho está corretamente especificado no arquivo de configuração.

3. Ferramenta de linha de comando do SCWS não funciona

• Solução: Verifique se o SCWS está corretamente instalado e se o caminho do arquivo de configuração está correto. Se o problema persistir, consulte os logs de erro para obter mais informações.

Conclusão

SCWS é um sistema eficiente de segmentação de palavras em chinês, adequado para várias tarefas de processamento de texto em chinês. Com este artigo, você pode aprender como instalar, configurar e usar o SCWS no ServBay para segmentação de palavras em chinês.