ServBay 中的 SCWS 中文分词：安装、配置与使用指南

ServBay 作为一款强大的本地 Web 开发环境，内置集成了许多开发者常用的工具和软件包。SCWS（Simple Chinese Word Segmentation）是一个高效的中文分词系统，在处理中文文本时（如搜索、自然语言处理、内容分析等）至关重要。ServBay 已经为您预装了 SCWS 及其 PHP 模块，无需额外繁琐的安装步骤。本文将详细指导您如何在 ServBay 环境中配置和使用 SCWS，包括命令行工具和 PHP API 的应用。

概述

SCWS 是一个高性能的中文分词库，特别适用于需要对大量中文文本进行快速、准确分词的场景。它支持多种分词模式、自定义词典和规则，是构建中文搜索、内容推荐、文本分析等应用的基础工具之一。ServBay 将 SCWS 集成到其软件包中，并提供了预编译的 PHP 扩展，极大地简化了在本地开发环境中使用 SCWS 的流程。

前提

您已在 macOS 操作系统上成功安装并运行 ServBay。

安装与配置

安装

ServBay 设计的理念是提供一个即开即用的开发环境。SCWS 作为一个重要的中文处理工具，已经作为 ServBay 的一部分预装在系统中。您无需进行额外的下载或编译步骤即可使用。其相关的可执行文件、配置文件和词典等都统一存放在 ServBay 的安装目录下，默认路径通常是 /Applications/ServBay/。

配置

SCWS 的默认配置文件位于 ServBay 安装目录下的 /Applications/ServBay/etc/scws/scws.ini。您可以根据您的具体需求修改此文件来调整 SCWS 的分词行为、字符集、词典和规则等设置。

以下是默认配置文件的示例内容：

ini

[charset]
default = utf8

[rule]
rules = /Applications/ServBay/etc/scws/rules.ini

[dict]
dict = /Applications/ServBay/etc/scws/dict.utf8.xdb

[charset]：指定默认字符集，通常保持 utf8。
[rule]：指定分词规则文件的路径。
[dict]：指定分词词典文件的路径。您可以指定多个词典文件，用逗号 , 分隔。

基本使用：命令行工具

SCWS 提供了一个强大的命令行工具 scws，方便您直接在终端中进行文本分词测试或批量处理。ServBay 已将 scws 可执行文件包含在其 bin 目录下，通常 /Applications/ServBay/bin 已被添加到系统 PATH 中，您可以在终端直接调用 scws 命令。

分词示例

以下是一些使用 scws 命令行工具的基本示例：

分词一个字符串

通过管道将字符串传递给 scws 命令：

bash

echo "这是一个中文分词的例子" | scws -i

从文件中读取文本进行分词

使用 -i 参数指定输入文件，-o 参数指定输出文件：

bash

scws -i input.txt -o output.txt

指定分词规则

使用 -r 参数指定自定义规则文件路径：

bash

scws -i input.txt -o output.txt -r /path/to/your/rules.ini

指定词典

使用 -d 参数指定自定义词典文件路径：

bash

scws -i input.txt -o output.txt -d /path/to/your/dict.utf8.xdb

高级使用

自定义词典

为了提高分词的准确性，特别是针对行业术语、人名、地名或新词，您可以创建自定义词典。SCWS 使用高效的 xdb 格式词典。您可以使用 ServBay 提供的 scws-gen 工具将文本格式的词典转换为 xdb 格式。

创建自定义词典步骤：

创建一个文本文件，例如 custom_dict.txt。每行包含一个词语，后面可选地跟着一个空格和该词语的权重（通常是一个整数，影响分词优先级）。
```
ServBay 10
本地开发环境 8
中文分词 9
```
1
2
3
使用 scws-gen 工具生成 xdb 格式词典文件。同样，scws-gen 也位于 ServBay 的 bin 目录下。
bash
```
scws-gen -i custom_dict.txt -o custom_dict.xdb
```
1
在 SCWS 的配置文件 /Applications/ServBay/etc/scws/scws.ini 中，修改 [dict] 部分，将您的自定义词典路径添加到默认词典之后，用逗号 , 分隔。
ini
```
[dict]
dict = /Applications/ServBay/etc/scws/dict.utf8.xdb,/path/to/your/custom_dict.xdb
```
1
2
确保 /path/to/your/custom_dict.xdb 是您实际存放自定义词典的路径。

调整分词规则

分词规则文件（默认为 /Applications/ServBay/etc/scws/rules.ini）定义了 SCWS 如何处理一些歧义性或复杂的中文结构。修改规则文件通常需要深入理解 SCWS 的分词算法。对于大多数用户而言，使用默认规则并结合自定义词典通常已足够满足需求。如果您需要调整规则，请谨慎操作，并参考 SCWS 的官方文档以了解规则文件的具体格式和语法（如果 ServBay 提供的 SCWS 版本包含相关文档）。

示例规则文件内容（通常包含一些模式匹配规则）：

ini

[rule]
# 自定义分词规则可以在此添加
# 示例：定义一个简单的规则
# pattern = result

PHP API 使用

对于使用 PHP 构建 Web 应用的开发者而言，ServBay 预装的 PHP 环境中已经内置了 SCWS 扩展模块。这意味着您无需单独安装或配置 PHP 扩展，可以直接在您的 PHP 代码中调用 SCWS 的 API 进行中文分词处理。

您可以通过访问 ServBay 内置的 phpinfo() 页面来确认 SCWS 扩展是否已启用。

使用示例

以下是一个简单的 PHP 代码示例，演示如何使用 SCWS API 进行分词：

php

<?php
// 确保 SCWS 扩展已加载
if (!extension_loaded('scws')) {
    die("SCWS extension is not loaded.");
}

// 待分词的文本
$text = "ServBay 是一款强大的本地 Web 开发环境，支持 PHP、Node.js、Python 等多种语言，并集成了 MySQL、Nginx 等软件包。";

// 打开 SCWS 分词器实例
$sh = scws_open();

// 设置字符集，通常与您的文本编码一致
scws_set_charset($sh, 'utf8');

// 设置词典和分词规则文件路径
// 确保这里的路径是 ServBay 环境中 SCWS 文件的实际路径
$dict_path = '/Applications/ServBay/etc/scws/dict.utf8.xdb';
$rule_path = '/Applications/ServBay/etc/scws/rules.ini';

if (!file_exists($dict_path)) {
    die("SCWS dictionary file not found: " . $dict_path);
}
if (!file_exists($rule_path)) {
    die("SCWS rules file not found: " . $rule_path);
}

scws_set_dict($sh, $dict_path);
scws_set_rule($sh, $rule_path);

// 发送待分词的文本到 SCWS 实例
scws_send_text($sh, $text);

// 获取分词结果
echo "原始文本: " . $text . "\n";
echo "分词结果:\n";

// 循环获取并打印分词结果
// $res 是一个数组，每个元素代表一个分词结果（词语、词性等信息）
while ($res = scws_get_result($sh)) {
    foreach ($res as $word_info) {
        // 打印词语本身
        echo $word_info['word'] . " ";
        // 如果需要，也可以打印词性等信息，例如：
        // echo "词语: " . $word_info['word'] . ", 词性: " . $word_info['attr'] . ", 权重: " . $word_info['idf'] . "\n";
    }
}
echo "\n";

// 关闭 SCWS 分词器实例，释放资源
scws_close($sh);

?>

您可以将这段代码保存为 .php 文件，例如 segment_test.php，并将其放置在 ServBay 的网站根目录 /Applications/ServBay/www/servbay.demo/ 下（假设您有一个名为 servbay.demo 的网站配置），然后通过浏览器访问该文件或在终端使用 PHP CLI 执行它来查看分词结果。

常用函数

以下是 SCWS PHP 扩展中一些常用的核心函数：

scws_open(): 初始化并打开一个 SCWS 分词器实例。成功返回资源句柄，失败返回 false。
scws_set_charset($sh, $charset): 设置分词器实例 $sh 的字符集。
scws_set_dict($sh, $dict_path, $mode = SCWS_XDICT_TXT): 设置分词器实例 $sh 的词典路径。$mode 指定词典格式，SCWS_XDICT_TXT 表示文本格式（已废弃，推荐使用 xdb），通常直接使用 $dict_path 指定 xdb 文件即可。
scws_set_rule($sh, $rule_path): 设置分词器实例 $sh 的分词规则文件路径。
scws_send_text($sh, $text): 将待分词的文本 $text 发送给分词器实例 $sh 进行处理。
scws_get_result($sh): 从分词器实例 $sh 中获取分词结果。每次调用返回一个词语的详细信息数组，直到分词完成返回 false。
scws_close($sh): 关闭分词器实例 $sh 并释放相关资源。

更多高级函数（如设置忽略标点、设置分词模式、获取词语权重等）请参考 SCWS PHP 扩展的官方文档。

常见问题解答 (FAQ)

1. SCWS 分词结果不准确怎么办？

解决方案：首先，检查 SCWS 的配置文件 /Applications/ServBay/etc/scws/scws.ini 中指定的词典 (dict) 和规则 (rule) 文件路径是否正确。确保这些文件存在且可读。对于特定领域的文本或新词，建议创建自定义词典（使用 scws-gen 生成 xdb 格式），并在配置文件中添加您的自定义词典路径。适当调整词典权重或分词规则也可能有所帮助，但这需要更深入的了解。

2. SCWS 性能不佳，分词速度慢？

解决方案：确保 SCWS 使用的是高效的 xdb 格式词典，而不是旧的文本格式词典。xdb 词典经过优化，加载和查询速度更快。在配置文件中指定词典时，确保路径指向 xdb 文件。对于非常大的文本，考虑分块处理。

3. SCWS 命令行工具无法运行，提示找不到命令？

解决方案：这通常是因为 ServBay 的可执行文件目录未添加到系统的 PATH 环境变量中。您可以尝试使用完整的路径来运行命令，例如 /Applications/ServBay/bin/scws -i ...。或者，您可以将 /Applications/ServBay/bin 目录添加到您的 shell 配置文件（如 ~/.bash_profile, ~/.zshrc 等）的 PATH 变量中，然后重新加载配置文件或重启终端。

4. 在 PHP 中调用 `scws_open()` 失败或函数不存在？

解决方案：这意味着 SCWS PHP 扩展没有被 ServBay 的 PHP 环境加载。请通过 ServBay 控制面板确认您正在使用的 PHP 版本，并访问该版本的 phpinfo() 页面（通常 ServBay 会提供快捷方式）检查 scws 扩展是否列出并已启用。如果未启用，检查 ServBay 的 PHP 配置文件（php.ini）中是否包含 extension=scws.so 或类似的行，并确保 scws.so 文件存在于 PHP 的扩展目录中（ServBay 已预配置好这些）。如果问题依旧，尝试重启 ServBay 服务。

总结

SCWS 是一个功能强大且高效的中文分词系统。借助 ServBay 预集成的软件包和 PHP 扩展，开发者可以在 macOS 本地环境中轻松地安装、配置和使用 SCWS，无论是通过命令行工具进行文本处理，还是在 PHP 应用中实现动态分词功能。遵循本文的指南，您可以快速上手并在您的项目中应用 SCWS，提升中文文本处理能力。

ServBay 中的 SCWS 中文分词：安装、配置与使用指南 ​

概述 ​

前提 ​

安装与配置 ​

安装 ​

配置 ​

基本使用：命令行工具 ​

分词示例 ​

分词一个字符串 ​

从文件中读取文本进行分词 ​

指定分词规则 ​

指定词典 ​

高级使用 ​

自定义词典 ​

创建自定义词典步骤： ​

调整分词规则 ​

PHP API 使用 ​

使用示例 ​

常用函数 ​

常见问题解答 (FAQ) ​

1. SCWS 分词结果不准确怎么办？ ​

2. SCWS 性能不佳，分词速度慢？ ​

3. SCWS 命令行工具无法运行，提示找不到命令？ ​

4. 在 PHP 中调用 scws_open() 失败或函数不存在？ ​

总结 ​

ServBay 中的 SCWS 中文分词：安装、配置与使用指南

概述

前提

安装与配置

安装

配置

基本使用：命令行工具

分词示例

分词一个字符串

从文件中读取文本进行分词

指定分词规则

指定词典

高级使用

自定义词典

创建自定义词典步骤：

调整分词规则

PHP API 使用

使用示例

常用函数

常见问题解答 (FAQ)

1. SCWS 分词结果不准确怎么办？

2. SCWS 性能不佳，分词速度慢？

3. SCWS 命令行工具无法运行，提示找不到命令？

4. 在 PHP 中调用 `scws_open()` 失败或函数不存在？

总结