Tài liệu sử dụng SCWS

SCWS (Simple Chinese Word Segmentation) là một hệ thống phân tách từ tiếng Trung hiệu quả, phù hợp cho các nhiệm vụ xử lý văn bản tiếng Trung. ServBay tích hợp sẵn SCWS và module PHP của nó, bài viết này sẽ hướng dẫn chi tiết cách cài đặt, cấu hình và sử dụng SCWS.

Mục lục

• Mục lục
• Cài đặt và cấu hình
  • Cài đặt
  • Cấu hình
• Sử dụng cơ bản
  • Ví dụ phân tách từ
• Sử dụng nâng cao
  • Từ điển tùy chỉnh
  • Điều chỉnh quy tắc phân tách
• Sử dụng API PHP
  • Ví dụ sử dụng
  • Các hàm thông dụng
• Các vấn đề thường gặp
  • 1. Kết quả phân tách từ của SCWS không chính xác
  • 2. Hiệu suất của SCWS không tốt
  • 3. Công cụ dòng lệnh SCWS không chạy được
• Tổng kết

Cài đặt và cấu hình

Cài đặt

SCWS và module PHP của nó đã được tích hợp sẵn trong ServBay, không cần cài đặt thêm.

Cấu hình

Tệp cấu hình của SCWS nằm trong thư mục /Applications/ServBay/etc/scws, tệp cấu hình mặc định là scws.ini. Bạn có thể chỉnh sửa tệp cấu hình để điều chỉnh hành vi phân tách từ.

Ví dụ về nội dung tệp cấu hình:

[charset]
default = utf8

[rule]
rules = /Applications/ServBay/etc/scws/rules.ini

[dict]
dict = /Applications/ServBay/etc/scws/dict.utf8.xdb

Sử dụng cơ bản

SCWS cung cấp công cụ dòng lệnh scws để phân tách văn bản. Dưới đây là một số ví dụ sử dụng cơ bản:

Ví dụ phân tách từ

Phân tách một chuỗi văn bản

echo "这是一个中文分词的例子" | scws -i

Đọc văn bản từ tệp để phân tách

scws -i input.txt -o output.txt

Chỉ định quy tắc phân tách

scws -i input.txt -o output.txt -r /path/to/rules.ini

Chỉ định từ điển

scws -i input.txt -o output.txt -d /path/to/dict.utf8.xdb

Sử dụng nâng cao

Từ điển tùy chỉnh

Bạn có thể tạo từ điển tùy chỉnh để nâng cao độ chính xác của phân tách từ. Từ điển tùy chỉnh cần sử dụng định dạng xdb và có thể được tạo bằng công cụ scws-gen.

Tạo từ điển tùy chỉnh

1. Tạo một tệp văn bản từ điển custom_dict.txt với nội dung như sau:

   自定义词1 1
   自定义词2 2

2. Sử dụng công cụ scws-gen để tạo từ điển:

   scws-gen -i custom_dict.txt -o custom_dict.xdb

3. Chỉ định từ điển tùy chỉnh trong tệp cấu hình:

   [dict]
   dict = /Applications/ServBay/etc/scws/dict.utf8.xdb,/path/to/custom_dict.xdb

Điều chỉnh quy tắc phân tách

Tệp quy tắc phân tách rules.ini định nghĩa cách thức phân tách từ, bạn có thể chỉnh sửa theo nhu cầu. Tệp quy tắc mặc định nằm trong thư mục /Applications/ServBay/etc/scws/rules.ini.

Ví dụ về nội dung tệp quy tắc:

[rule]
# Quy tắc phân tách tùy chỉnh

Sử dụng API PHP

PHP tích hợp sẵn trong ServBay đã bao gồm module SCWS, bạn có thể sử dụng SCWS để phân tách từ trong mã PHP.

Ví dụ sử dụng

1. Sử dụng SCWS trong mã PHP:

   <?php
   // Mở bộ phân tách từ SCWS
   $sh = scws_open();
   
   // Thiết lập bộ ký tự
   scws_set_charset($sh, 'utf8');
   
   // Thiết lập từ điển và quy tắc phân tách
   scws_set_dict($sh, '/Applications/ServBay/etc/scws/dict.utf8.xdb');
   scws_set_rule($sh, '/Applications/ServBay/etc/scws/rules.ini');
   
   // Gửi văn bản để phân tách
   scws_send_text($sh, "这是一个中文分词的例子");
   
   // Lấy kết quả phân tách
   while ($res = scws_get_result($sh)) {
       foreach ($res as $word) {
           echo $word['word'], "\n";
       }
   }
   
   // Đóng bộ phân tách từ SCWS
   scws_close($sh);
   ?>

Các hàm thông dụng

• scws_open(): Mở một phiên bản bộ phân tách từ SCWS
• scws_set_charset($sh, $charset): Thiết lập bộ ký tự
• scws_set_dict($sh, $dict_path): Thiết lập đường dẫn từ điển
• scws_set_rule($sh, $rule_path): Thiết lập đường dẫn quy tắc phân tách
• scws_send_text($sh, $text): Gửi văn bản để phân tách
• scws_get_result($sh): Lấy kết quả phân tách
• scws_close($sh): Đóng phiên bản bộ phân tách từ SCWS

Các vấn đề thường gặp

1. Kết quả phân tách từ của SCWS không chính xác

• Giải pháp: Kiểm tra từ điển và tệp quy tắc đã được cấu hình đúng chưa. Bạn có thể thử sử dụng từ điển tùy chỉnh và điều chỉnh quy tắc phân tách để nâng cao độ chính xác.

2. Hiệu suất của SCWS không tốt

• Giải pháp: Đảm bảo SCWS sử dụng định dạng từ điển hiệu quả (như xdb) và cấu hình đúng trong tệp cấu hình.

3. Công cụ dòng lệnh SCWS không chạy được

• Giải pháp: Kiểm tra SCWS đã được cài đặt đúng và đảm bảo đường dẫn tệp cấu hình đúng. Nếu vấn đề vẫn tồn tại, kiểm tra nhật ký lỗi để biết thêm thông tin.

Tổng kết

SCWS là một hệ thống phân tách từ tiếng Trung hiệu quả, phù hợp cho các nhiệm vụ xử lý văn bản tiếng Trung. Thông qua bài viết này, bạn có thể hiểu cách cài đặt, cấu hình và sử dụng SCWS trong ServBay để phân tách từ tiếng Trung.