---
title: "الجلسة الخامسة | NLP & Transformers — From Tokens to BERT/GPT"
aliases:
  - "Session 05 - NLP & Transformers"
  - "AI Camp v2 - Session 05"
tags:
  - AI-Camp-v2
  - Models
  - NLP
  - Transformers
  - BERT
  - NER
session: 5
duration: "3 hours"
duration_minutes: 180
track: Models
status: planned
language: ar
---

# الجلسة الخامسة: NLP & Transformers — From Tokens to BERT/GPT

> [!info] معلومات الجلسة
> - **المسار:** Models — بناء النماذج
> - **المدة:** 3 ساعات
> - **الطابع:** مفاهيم NLP + بنية Transformers + Fine-Tuning عملي
> - **المشروع:** Fine-Tune BERT for Named Entity Recognition (NER)
> - **الأدوات المقترحة:** Python · Hugging Face Transformers · Datasets · PyTorch

##  نظرة عامة

تشكل هذه الجلسة أساسًا مهمًا لفهم **النماذج اللغوية الكبيرة (LLMs)** التي ستُستخدم في الجلسات اللاحقة. ينتقل الطالب من كيفية تمثيل النصوص رقميًا إلى فهم آلية **Attention** وبنية **Transformer**، ثم يطبق ما تعلمه من خلال تخصيص نموذج مدرّب مسبقًا لمهمة استخراج الكيانات المسماة.

> [!abstract] الهدف الرئيسي
> تمكين الطالب من فهم المكونات التي تقوم عليها نماذج اللغة الحديثة، ثم استخدام نموذج من عائلة **BERT** في مهمة **Named Entity Recognition** مع تقييم واضح لجودة استخراج الكيانات.

##  مخرجات التعلّم

بنهاية الجلسة، يُتوقع أن يصبح الطالب قادرًا على:

- تفسير كيف تتحول النصوص إلى **Tokens** ثم إلى تمثيلات رقمية (**Embeddings**).
- شرح محدوديات النماذج المتكررة **RNNs** في معالجة الاعتماديات البعيدة والتوازي.
- فهم الفكرة الأساسية لآلية **Attention** وبنية **Transformer**.
- التمييز على المستوى المفاهيمي بين نماذج **BERT** ونماذج **GPT**.
- توضيح بعض تحديات معالجة اللغة العربية في تقسيم النصوص وتطبيعها.
- تجهيز بيانات **NER** ووسوم الكيانات وربطها بوحدات النص الناتجة عن Tokenizer.
- تخصيص نموذج مدرّب مسبقًا لمهمة **Token Classification**.
- تقييم النتائج باستخدام **Precision وRecall وF1-Score** وتحليل أخطاء النموذج.

---

##  المحاور النظرية

### 1. NLP Fundamentals — أساسيات معالجة اللغة الطبيعية

| المفهوم | ما يتعلمه الطالب |
|---|---|
| **Tokenization** | تقسيم النص إلى وحدات يعالجها النموذج، وقد تكون كلمات أو أجزاء كلمات أو غير ذلك. |
| **Embeddings** | تمثيل الوحدات النصية بمتجهات رقمية يمكن للنموذج التعامل معها. |
| **RNNs** | معالجة التسلسلات باستخدام حالة تنتقل عبر الخطوات الزمنية، مع تحديات الاعتماديات البعيدة والتوازي. |
| **Attention** | حساب مدى ارتباط وحدات النص بعضها ببعض أثناء بناء التمثيلات. |
| **Transformers** | بنية تعتمد على آليات Attention ومكونات أخرى لمعالجة التسلسلات. |
| **BERT** | نموذج قائم على Transformer Encoder ويُستخدم في مهام مثل التصنيف واستخراج المعلومات. |
| **GPT** | عائلة نماذج توليدية ذاتية الانحدار تتنبأ بالوحدات النصية التالية ضمن السياق. |

### 2. Tokenization & Embeddings

- الفرق بين **Word-Level** و**Subword Tokenization** من حيث الفكرة.
- كيف تتحول النصوص إلى **Token IDs**.
- كيف تستخدم النماذج **Embedding Vectors** لتمثيل الوحدات النصية.
- لماذا لا تتطابق حدود الـTokens بالضرورة مع الكلمات الكاملة في النص الأصلي؟

#### خصوصية اللغة العربية

تتضمن الجلسة أمثلة على تحديات معالجة النص العربي، ومنها:

- **التصاق بعض الحروف بالكلمات**، مثل حروف العطف والجر.
- **التشكيل** وتنوع كتابة الكلمة الواحدة.
- **الاشتقاق والتصريف** وتنوع الصيغ.
- **تطبيع النص** وتأثيره في المطابقة بين النص الأصلي والوسوم.

> [!tip] نقطة مهمة في NER
> قد تقسم أداة Tokenizer كلمة عربية واحدة إلى أكثر من Subword؛ عندها يجب التعامل بدقة مع **مواءمة وسوم الكيانات مع الوحدات النصية** قبل التدريب والتقييم.

### 3. From RNNs to Attention & Transformers

- كيف تعمل النماذج المتكررة بصورة تسلسلية.
- لماذا تصبح العلاقات البعيدة بين الكلمات تحديًا لهذه النماذج؟
- الفكرة العامة لـ **Query وKey وValue** ضمن Self-Attention.
- كيف تسمح بنية Transformer بتمثيل علاقات أوسع ضمن التسلسل؟
- دور **Positional Information** في تمثيل ترتيب الوحدات النصية.

### 4. BERT vs. GPT — الفروق الأساسية

| البعد | BERT | GPT |
|---|---|---|
| **البنية الشائعة** | Transformer Encoder | Autoregressive Transformer Decoder |
| **طريقة الاستفادة من السياق** | تمثيلات تعتمد على سياق الكلمة من الاتجاهين ضمن المدخل | توليد متتابع يعتمد على الوحدات السابقة ضمن السياق |
| **الاستخدامات الشائعة** | التصنيف واستخراج الكيانات والتمثيل النصي | توليد النصوص والمحادثة وإكمال النصوص |
| **مثال ضمن المعسكر** | Named Entity Recognition | تمهيد لتطبيقات LLM Engineering في الجلسة السادسة |

> [!note] هدف هذا الجزء
> المقصود فهم المبادئ والاختلافات المعمارية الأساسية، لا استعراض جميع معماريات Transformers أو تدريب نموذج لغوي كبير من الصفر.

---

##  التطبيق العملي: Fine-Tune BERT for Named Entity Recognition

### فكرة المشروع

استخدام نموذج مدرّب مسبقًا من عائلة **BERT** وتخصيصه لاستخراج الكيانات المسماة من النصوص، مثل أسماء الأشخاص والمنظمات والأماكن.

### مثال توضيحي

> زار إبراهيم جامعة حلب في سوريا.

**المخرجات المتوقعة:**

| النص المستخرج | نوع الكيان | الوسم |
|---|---|---|
| إبراهيم | شخص | `PER` |
| جامعة حلب | منظمة | `ORG` |
| سوريا | موقع جغرافي | `LOC` |

يسمى هذا النوع من المهام **Named Entity Recognition (NER)**، وهو من الاستخدامات الشائعة لـ **Token Classification**.

### خطوات تنفيذ المشروع

#### المرحلة 1 — Dataset Preparation

- [ ] اختيار مجموعة بيانات موسومة للكيانات المسماة.
- [ ] استعراض عينات النصوص وأنواع الكيانات المتاحة.
- [ ] فهم تنسيق الوسوم مثل **BIO** عند استخدامه.
- [ ] فصل بيانات التدريب والتحقق والاختبار بصورة مناسبة.

#### المرحلة 2 — Tokenization & Label Alignment

- [ ] تحميل **Tokenizer** المتوافق مع النموذج المحدد.
- [ ] تحويل النصوص إلى Token IDs.
- [ ] مواءمة وسوم الكلمات مع وحدات Subword الناتجة.
- [ ] التأكد من استبعاد الرموز الخاصة أو الأجزاء غير المخصصة للتقييم وفق سياسة الإعداد المعتمدة.

#### المرحلة 3 — Model Fine-Tuning

- [ ] تحميل نموذج مناسب لمهمة **Token Classification**.
- [ ] ضبط عدد الفئات وتسميات الكيانات.
- [ ] إعداد معاملات التدريب الأساسية.
- [ ] تشغيل Fine-Tuning على بيانات التدريب.
- [ ] تسجيل نتائج التدريب والتحقق وحفظ النسخة النهائية من النموذج.

#### المرحلة 4 — Evaluation & Error Analysis

- [ ] حساب **Precision وRecall وF1-Score** على مستوى الكيانات.
- [ ] مقارنة التنبؤات بالوسوم الصحيحة على مجموعة اختبار منفصلة.
- [ ] عرض أمثلة ناجحة وأخرى أخطأ فيها النموذج.
- [ ] مناقشة أسباب الخطأ المحتملة، مثل اختلاف السياق أو تقطيع النص أو قلة البيانات.

#### المرحلة 5 — Inference Demo

- [ ] تحميل النموذج بعد Fine-Tuning.
- [ ] تجربة جمل جديدة لم يستخدمها التدريب.
- [ ] عرض الكيانات المستخرجة وأنواعها بصورة قابلة للفهم.

> [!important] تقييم صحيح للـNER
> **Accuracy على مستوى Tokens وحدها لا تكفي**، لأن فئة `O` (خارج الكيانات) قد تكون شائعة. ينبغي توثيق مقاييس استخراج الكيانات نفسها، بما فيها **Entity-Level Precision / Recall / F1**.

---

##  التسليم المطلوب (Deliverables)

- [ ] Notebook يوضح تجهيز البيانات وتحويلها إلى مدخلات النموذج.
- [ ] نموذج **BERT** مخصص لمهمة **NER** وقابل لإعادة التحميل.
- [ ] كود استدلال لاستخراج الكيانات من نص جديد.
- [ ] تقرير تقييم يذكر **Precision وRecall وF1-Score** مع طريقة الحساب.
- [ ] ثلاثة أمثلة على الأقل لنتائج النموذج، بما فيها حالة خطأ وتحليلها.
- [ ] `README.md` يوضح البيانات والنموذج وخطوات التشغيل.
- [ ] تسليم العمل عبر **Pull Request** إلى مستودع المعسكر.


##  مراجع ومصادر

- [Hugging Face — Token Classification & NER](https://huggingface.co/docs/transformers/tasks/token_classification)
- [Hugging Face — BERT Model Documentation](https://huggingface.co/docs/transformers/model_doc/bert)
- [Hugging Face — Fine-Tuning](https://huggingface.co/docs/transformers/training)
- [Hugging Face NLP Course](https://huggingface.co/learn/llm-course/chapter1/1)

---

  خلاصة الجلسة

تُقدّم الجلسة الخامسة الأساس الذي يساعد الطالب على فهم كيفية معالجة النماذج الحديثة للنصوص، بدءًا من **Tokenization وEmbeddings** ووصولًا إلى **Attention وTransformers**، ثم تحويل هذا الفهم إلى تطبيق عملي عبر تخصيص نموذج BERT لمهمة استخراج الكيانات المسماة.

> [!success] الرسالة الأساسية
> **لفهم أنظمة LLM المتقدمة، ابدأ بفهم كيف يتحول النص إلى تمثيلات رقمية، وكيف تستخدم النماذج السياق لاستخراج المعلومات وبناء التنبؤات.**
