دليل استخدام zhparser

zhparser هو عبارة عن وحدة تمديد (Extension Module) لقاعدة بيانات PostgreSQL، صُممت خصيصًا لمعالجة النصوص الصينية. توفر هذه الوحدة وظائف فعالة لتجزئة الكلمات والبحث، مما يجعلها مناسبة لمختلف سيناريوهات معالجة النصوص الصينية. ServBay يأتي مع scws (Simple Chinese Word Segmentation)، ويمكن لـzhparser استخدام scws لإنشاء قواميس مخصصة. سيوضح هذا الدليل كيفية تثبيت واستخدام zhparser في ServBay.

تثبيت zhparser

يحتوي ServBay على وحدة تمديد zhparser، وكل ما عليك فعله هو تفعيلها في قاعدة البيانات. إليك خطوات تفعيل zhparser:

1. الاتصال بقاعدة بيانات PostgreSQL:

   psql -U your_username -d your_database

2. إنشاء التمديد:

   CREATE EXTENSION zhparser;

3. التحقق من التثبيت:

   \dx

تهيئة zhparser

بعد تفعيل zhparser، تحتاج إلى إجراء بعض التهيئات للسماح له بالعمل بشكل صحيح في تجزئة النصوص الصينية والبحث الكامل عن النصوص.

تهيئة تكوينات البحث عن نصوص (Text Search Configuration)

1. إنشاء تكوينات البحث عن النصوص:

   CREATE TEXT SEARCH CONFIGURATION chinese (PARSER = zhparser);

2. إضافة القواميس:

   ALTER TEXT SEARCH CONFIGURATION chinese ADD MAPPING FOR n,v,a,i,e,l WITH simple;

استخدام zhparser للبحث الكامل عن النصوص

إليك مثالا يوضح كيفية استخدام zhparser للبحث الكامل عن النصوص.

إنشاء جدول بيانات وتجهيز بيانات نموذجية

1. إنشاء جدول:

   CREATE TABLE documents (
       id SERIAL PRIMARY KEY,
       content TEXT
   );

2. إدخال بيانات نموذجية:

   INSERT INTO documents (content) VALUES
   ('我爱自然语言处理'),
   ('中文分词是文本处理的重要步骤'),
   ('zhparser是一个很好的中文分词工具');

إنشاء فهرس بحث كامل النصوص

1. إنشاء فهرس GIN:

   CREATE INDEX idx_gin_content ON documents USING gin (to_tsvector('chinese', content));

تنفيذ بحث كامل النصوص

1. تنفيذ استعلام البحث:

   SELECT * FROM documents
   WHERE to_tsvector('chinese', content) @@ to_tsquery('chinese', '中文 & 分词');

   سيُرجع هذا الاستعلام المستندات التي تحتوي على كلمتي "中文" و "分词".

تخصيص القواميس

يأتي ServBay مع scws، ويمكنك استخدام scws لإنشاء قواميس مخصصة لتلبية احتياجات التطبيقات الخاصة بك.

إضافة مفردات مخصصة

1. إنشاء ملف قاموس مخصص:

   /Applications/ServBay/etc/scws/custom_dict.txt

2. إضافة المفردات في الملف، كلمة واحدة في كل سطر:

   自然语言处理
   中文分词

3. تهيئة zhparser لاستخدام القاموس المخصص:

   SET zhparser.dict_path = '/Applications/ServBay/etc/scws/custom_dict.txt';

إعادة تحميل القاموس

1. إعادة تحميل القاموس:

   SELECT zhprs_reload_dict();

تعديل وضع التجزئة

يدعم zhparser أوضاع متعددة لتجزئة الكلمات، ويمكنك تعديل الوضع وفقًا لاحتياجاتك.

تعيين وضع التجزئة

1. تعيين وضع التجزئة إلى تجزئة بأدق النويات:

   SET zhparser.seg_with_duality = true;

2. تعيين وضع التجزئة إلى تجزئة بأكبر النويات:

   SET zhparser.seg_with_duality = false;

الخلاصة

zhparser هو أداة قوية لتجزئة الكلمات الصينية، ومن خلال بعض التهيئات والاستخدامات البسيطة، يمكنك تحقيق بحث فعال وكامل للنصوص الصينية في PostgreSQL. يأتي ServBay مزودًا بوحدة zhparser وتحتوي على scws، ويمكنك استخدام scws لإنشاء قواميس مخصصة. من خلال تخصيص القواميس وضبط أوضاع التجزئة، يمكنك تحسين أداء التجزئة لتلبية احتياجات التطبيقات الخاصة بك.