بناء النماذج 3 ساعات7 مهام تسليم

امنح النص معنىمعالجة اللغة وTransformers وBERT

من تقسيم النصوص وEmbeddings إلى Attention؛ خصّص نموذج BERT لاستخراج الأشخاص والأماكن والمنظمات.

TransformersBERTHugging FaceNER
05
ماذا ستبني؟

استخراج الكيانات المسماة — NER

نموذج NER وتقييم على مستوى الكيانات.

ماذا ستتعلم في هذه الجلسة؟

تفسير كيف تتحول النصوص إلى Tokens ثم إلى تمثيلات رقمية (Embeddings).
شرح محدوديات النماذج المتكررة RNNs في معالجة الاعتماديات البعيدة والتوازي.
فهم الفكرة الأساسية لآلية Attention وبنية Transformer.
التمييز على المستوى المفاهيمي بين نماذج BERT ونماذج GPT.
توضيح بعض تحديات معالجة اللغة العربية في تقسيم النصوص وتطبيعها.
تجهيز بيانات NER ووسوم الكيانات وربطها بوحدات النص الناتجة عن Tokenizer.
تخصيص نموذج مدرّب مسبقًا لمهمة Token Classification.
تقييم النتائج باستخدام Precision وRecall وF1-Score وتحليل أخطاء النموذج.

تعمّق قبل الجلسة وبعدها

4 فيديو مختار
2 كورس

كيف تتقدم في التطبيق؟

  1. 01

    Tokens وEmbeddings

  2. 02

    Attention وTransformers

  3. 03

    مواءمة الوسوم

  4. 04

    Fine-tuning وF1

أسئلة الجلسة وإجاباتها

ماذا يتعلم الطالب في جلسة NLP وTransformers؟+

ينتقل من Tokenization وEmbeddings إلى Attention وTransformers والفرق بين BERT وGPT، ثم يخصص BERT لاستخراج الكيانات المسماة.

لماذا تحتاج وسوم NER إلى مواءمة بعد Tokenization؟+

قد تنقسم الكلمة إلى عدة Subwords؛ لذا يجب ربط وسوم الكيانات بوحدات النص الناتجة واستبعاد الرموز غير المخصصة للتقييم وفق السياسة المعتمدة.

كيف نقيّم نموذج استخراج الكيانات؟+

نحسب Precision وRecall وF1 على مستوى الكيانات مع مجموعة اختبار منفصلة وأمثلة نجاح وفشل؛ Accuracy على مستوى Tokens وحدها غير كافية.

فيديوهات مختارة

شاهدها قبل الجلسة أو بعدها لتثبيت المفاهيم.

Hugging Face

Hugging Face Course (playlist)

فيديوهات Hugging Face الرسمية القصيرة: pipeline والـ tokenizers والضبط الدقيق.

مبتدئ

كورسات للتعمّق

مسارات أطول لمن يريد بناء الأساس بعد الجلسة.

Hugging Face

LLM Course (formerly the NLP Course)

الدورة الرسمية لمكتبة Transformers، وفصلها السابع يطبّق تصنيف الرموز وNER.

مجانيEnglish

روابط خارجية تفتح على YouTube ومنصات التعلّم وتخضع لسياساتها. تحقّقنا من عملها في نوفمبر 2026؛ اختر ما يناسب مستواك ولا يلزمك مشاهدتها كلها.

المنهج الكامل · دون اختصارتنزيل المصدر
فهرس محتوى الجلسة

نظرة عامة#

تشكل هذه الجلسة أساسًا مهمًا لفهم النماذج اللغوية الكبيرة (LLMs) التي ستُستخدم في الجلسات اللاحقة. ينتقل الطالب من كيفية تمثيل النصوص رقميًا إلى فهم آلية Attention وبنية Transformer، ثم يطبق ما تعلمه من خلال تخصيص نموذج مدرّب مسبقًا لمهمة استخراج الكيانات المسماة.

مخرجات التعلّم#

بنهاية الجلسة، يُتوقع أن يصبح الطالب قادرًا على:

  • تفسير كيف تتحول النصوص إلى Tokens ثم إلى تمثيلات رقمية (Embeddings).
  • شرح محدوديات النماذج المتكررة RNNs في معالجة الاعتماديات البعيدة والتوازي.
  • فهم الفكرة الأساسية لآلية Attention وبنية Transformer.
  • التمييز على المستوى المفاهيمي بين نماذج BERT ونماذج GPT.
  • توضيح بعض تحديات معالجة اللغة العربية في تقسيم النصوص وتطبيعها.
  • تجهيز بيانات NER ووسوم الكيانات وربطها بوحدات النص الناتجة عن Tokenizer.
  • تخصيص نموذج مدرّب مسبقًا لمهمة Token Classification.
  • تقييم النتائج باستخدام Precision وRecall وF1-Score وتحليل أخطاء النموذج.

المحاور النظرية#

1. NLP Fundamentals — أساسيات معالجة اللغة الطبيعية#

المفهومما يتعلمه الطالب
Tokenizationتقسيم النص إلى وحدات يعالجها النموذج، وقد تكون كلمات أو أجزاء كلمات أو غير ذلك.
Embeddingsتمثيل الوحدات النصية بمتجهات رقمية يمكن للنموذج التعامل معها.
RNNsمعالجة التسلسلات باستخدام حالة تنتقل عبر الخطوات الزمنية، مع تحديات الاعتماديات البعيدة والتوازي.
Attentionحساب مدى ارتباط وحدات النص بعضها ببعض أثناء بناء التمثيلات.
Transformersبنية تعتمد على آليات Attention ومكونات أخرى لمعالجة التسلسلات.
BERTنموذج قائم على Transformer Encoder ويُستخدم في مهام مثل التصنيف واستخراج المعلومات.
GPTعائلة نماذج توليدية ذاتية الانحدار تتنبأ بالوحدات النصية التالية ضمن السياق.

2. Tokenization & Embeddings#

  • الفرق بين Word-Level وSubword Tokenization من حيث الفكرة.
  • كيف تتحول النصوص إلى Token IDs.
  • كيف تستخدم النماذج Embedding Vectors لتمثيل الوحدات النصية.
  • لماذا لا تتطابق حدود الـTokens بالضرورة مع الكلمات الكاملة في النص الأصلي؟
خصوصية اللغة العربية#

تتضمن الجلسة أمثلة على تحديات معالجة النص العربي، ومنها:

  • التصاق بعض الحروف بالكلمات، مثل حروف العطف والجر.
  • التشكيل وتنوع كتابة الكلمة الواحدة.
  • الاشتقاق والتصريف وتنوع الصيغ.
  • تطبيع النص وتأثيره في المطابقة بين النص الأصلي والوسوم.

3. From RNNs to Attention & Transformers#

  • كيف تعمل النماذج المتكررة بصورة تسلسلية.
  • لماذا تصبح العلاقات البعيدة بين الكلمات تحديًا لهذه النماذج؟
  • الفكرة العامة لـ Query وKey وValue ضمن Self-Attention.
  • كيف تسمح بنية Transformer بتمثيل علاقات أوسع ضمن التسلسل؟
  • دور Positional Information في تمثيل ترتيب الوحدات النصية.

4. BERT vs. GPT — الفروق الأساسية#

البعدBERTGPT
البنية الشائعةTransformer EncoderAutoregressive Transformer Decoder
طريقة الاستفادة من السياقتمثيلات تعتمد على سياق الكلمة من الاتجاهين ضمن المدخلتوليد متتابع يعتمد على الوحدات السابقة ضمن السياق
الاستخدامات الشائعةالتصنيف واستخراج الكيانات والتمثيل النصيتوليد النصوص والمحادثة وإكمال النصوص
مثال ضمن المعسكرNamed Entity Recognitionتمهيد لتطبيقات LLM Engineering في الجلسة السادسة

التطبيق العملي: Fine-Tune BERT for Named Entity Recognition#

فكرة المشروع#

استخدام نموذج مدرّب مسبقًا من عائلة BERT وتخصيصه لاستخراج الكيانات المسماة من النصوص، مثل أسماء الأشخاص والمنظمات والأماكن.

مثال توضيحي#

المخرجات المتوقعة:

النص المستخرجنوع الكيانالوسم
إبراهيمشخصPER
جامعة حلبمنظمةORG
سورياموقع جغرافيLOC

يسمى هذا النوع من المهام Named Entity Recognition (NER)، وهو من الاستخدامات الشائعة لـ Token Classification.

خطوات تنفيذ المشروع#

المرحلة 1 — Dataset Preparation#
  • اختيار مجموعة بيانات موسومة للكيانات المسماة.
  • استعراض عينات النصوص وأنواع الكيانات المتاحة.
  • فهم تنسيق الوسوم مثل BIO عند استخدامه.
  • فصل بيانات التدريب والتحقق والاختبار بصورة مناسبة.
المرحلة 2 — Tokenization & Label Alignment#
  • تحميل Tokenizer المتوافق مع النموذج المحدد.
  • تحويل النصوص إلى Token IDs.
  • مواءمة وسوم الكلمات مع وحدات Subword الناتجة.
  • التأكد من استبعاد الرموز الخاصة أو الأجزاء غير المخصصة للتقييم وفق سياسة الإعداد المعتمدة.
المرحلة 3 — Model Fine-Tuning#
  • تحميل نموذج مناسب لمهمة Token Classification.
  • ضبط عدد الفئات وتسميات الكيانات.
  • إعداد معاملات التدريب الأساسية.
  • تشغيل Fine-Tuning على بيانات التدريب.
  • تسجيل نتائج التدريب والتحقق وحفظ النسخة النهائية من النموذج.
المرحلة 4 — Evaluation & Error Analysis#
  • حساب Precision وRecall وF1-Score على مستوى الكيانات.
  • مقارنة التنبؤات بالوسوم الصحيحة على مجموعة اختبار منفصلة.
  • عرض أمثلة ناجحة وأخرى أخطأ فيها النموذج.
  • مناقشة أسباب الخطأ المحتملة، مثل اختلاف السياق أو تقطيع النص أو قلة البيانات.
المرحلة 5 — Inference Demo#
  • تحميل النموذج بعد Fine-Tuning.
  • تجربة جمل جديدة لم يستخدمها التدريب.
  • عرض الكيانات المستخرجة وأنواعها بصورة قابلة للفهم.

التسليم المطلوب (Deliverables)#

  • Notebook يوضح تجهيز البيانات وتحويلها إلى مدخلات النموذج.
  • نموذج BERT مخصص لمهمة NER وقابل لإعادة التحميل.
  • كود استدلال لاستخراج الكيانات من نص جديد.
  • تقرير تقييم يذكر Precision وRecall وF1-Score مع طريقة الحساب.
  • ثلاثة أمثلة على الأقل لنتائج النموذج، بما فيها حالة خطأ وتحليلها.
  • README.md يوضح البيانات والنموذج وخطوات التشغيل.
  • تسليم العمل عبر Pull Request إلى مستودع المعسكر.

مراجع ومصادر#


خلاصة الجلسة

تُقدّم الجلسة الخامسة الأساس الذي يساعد الطالب على فهم كيفية معالجة النماذج الحديثة للنصوص، بدءًا من Tokenization وEmbeddings ووصولًا إلى Attention وTransformers، ثم تحويل هذا الفهم إلى تطبيق عملي عبر تخصيص نموذج BERT لمهمة استخراج الكيانات المسماة.

حوّل التعلّم إلى إنجاز.

مهام التسليم مستخرجة من المنهج. أضف خطواتك الخاصة هنا.

0 / 7

مهامي الخاصة 0

أفكارك تستحق أن تُحفظ.

دوّن ما تعلمته، أسئلتك، وروابط العمل التي تريد العودة إليها.

ما الذي تريد تعلّمه؟

بحث في محتوى الجلسات العشر. استخدم Esc للإغلاق.