SCWS 使用文書

SCWS（Simple Chinese Word Segmentation）は、高効率な中国語分割システムであり、さまざまな中国語テキスト処理タスクに適しています。ServBayには出荷時にSCWSとそのPHPモジュールが含まれており、この記事ではSCWSのインストール、設定、使用方法について詳しく説明します。

目次

• 目次
• インストールと設定
  • インストール
  • 設定
• 基本使用
  • 分割例
• 高度な使用
  • カスタム辞書
  • 分割ルールの調整
• PHP API使用
  • 使用例
  • よく使う関数
• よくある質問
  • 1. SCWSの分割結果が正確でない
  • 2. SCWSの性能が悪い
  • 3. SCWSのコマンドラインツールが動作しない
• まとめ

インストールと設定

インストール

ServBayには出荷時に既にSCWSとそのPHPモジュールが含まれており、追加のインストールは不要です。

設定

SCWSの設定ファイルは/Applications/ServBay/etc/scwsディレクトリにあり、デフォルトの設定ファイルはscws.iniです。必要に応じて設定ファイルを変更して分割動作を調整できます。

サンプル設定ファイルの内容：

[charset]
default = utf8

[rule]
rules = /Applications/ServBay/etc/scws/rules.ini

[dict]
dict = /Applications/ServBay/etc/scws/dict.utf8.xdb

基本使用

SCWSはコマンドラインツールscwsを提供しており、テキストを分割するために使用できます。以下にいくつかの基本使用例を示します。

分割例

文字列を分割する

echo "これは中国語分割の例です" | scws -i

ファイルからテキストを読み込んで分割する

scws -i input.txt -o output.txt

分割ルールを指定する

scws -i input.txt -o output.txt -r /path/to/rules.ini

辞書を指定する

scws -i input.txt -o output.txt -d /path/to/dict.utf8.xdb

高度な使用

カスタム辞書

カスタム辞書を作成して分割の精度を向上させることができます。カスタム辞書はxdb形式である必要があり、scws-genツールを使用して生成できます。

カスタム辞書を作成する

1. 辞書テキストファイルcustom_dict.txtを作成し、次の内容を含めます：

   カスタム辞書1 1
   カスタム辞書2 2

2. scws-genツールを使用して辞書を生成：

   scws-gen -i custom_dict.txt -o custom_dict.xdb

3. 設定ファイルでカスタム辞書を指定：

   [dict]
   dict = /Applications/ServBay/etc/scws/dict.utf8.xdb,/path/to/custom_dict.xdb

分割ルールの調整

分割ルールファイルrules.iniは分割方法を定義しており、必要に応じて調整できます。デフォルトのルールファイルは/Applications/ServBay/etc/scws/rules.iniにあります。

サンプルルールファイルの内容：

[rule]
# カスタム分割ルール

PHP API使用

ServBayには出荷時にSCWSモジュールが含まれているため、PHPコードで直接SCWSを使用して中国語の分割を行うことができます。

使用例

1. PHPコードでSCWSを使用：

   <?php
   // SCWS分割器を開く
   $sh = scws_open();
   
   // 文字セットを設定
   scws_set_charset($sh, 'utf8');
   
   // 辞書と分割ルールを設定
   scws_set_dict($sh, '/Applications/ServBay/etc/scws/dict.utf8.xdb');
   scws_set_rule($sh, '/Applications/ServBay/etc/scws/rules.ini');
   
   // テキストを送信して分割
   scws_send_text($sh, "これは中国語分割の例です");
   
   // 分割結果を取得
   while ($res = scws_get_result($sh)) {
       foreach ($res as $word) {
           echo $word['word'], "\n";
       }
   }
   
   // SCWS分割器を閉じる
   scws_close($sh);
   ?>

よく使う関数

• scws_open(): SCWS分割器のインスタンスを開く
• scws_set_charset($sh, $charset): 文字セットを設定
• scws_set_dict($sh, $dict_path): 辞書のパスを設定
• scws_set_rule($sh, $rule_path): 分割ルールのパスを設定
• scws_send_text($sh, $text): 分割するテキストを送信
• scws_get_result($sh): 分割結果を取得
• scws_close($sh): SCWS分割器のインスタンスを閉じる

よくある質問

1. SCWSの分割結果が正確でない

• 解決策：辞書とルールファイルが正しく設定されているか確認してください。カスタム辞書を使用し、分割ルールを調整して精度を向上させることができます。

2. SCWSの性能が悪い

• 解決策：SCWSが効率的な辞書形式（例えばxdb）を使用しており、設定ファイルで正しく指定されていることを確認してください。

3. SCWSのコマンドラインツールが動作しない

• 解決策：SCWSが正しくインストールされ、設定ファイルパスが正しいことを確認してください。問題が解決しない場合は、エラーログを確認してさらなる情報を取得してください。

まとめ

SCWSは高効率の中国語分割システムであり、さまざまな中国語テキスト処理タスクに適しています。この記事を通じて、ServBayでのSCWSのインストール、設定、使用方法について理解を深めてください。