Transformers, the tech behind LLMs | Deep Learning Chapter 5
شرح بصري لبنية المحوّلات وكيف تتحول الكلمات إلى متجهات ذات معنى.
مبتدئمن تقسيم النصوص وEmbeddings إلى Attention؛ خصّص نموذج BERT لاستخراج الأشخاص والأماكن والمنظمات.
نموذج NER وتقييم على مستوى الكيانات.
ينتقل من Tokenization وEmbeddings إلى Attention وTransformers والفرق بين BERT وGPT، ثم يخصص BERT لاستخراج الكيانات المسماة.
قد تنقسم الكلمة إلى عدة Subwords؛ لذا يجب ربط وسوم الكيانات بوحدات النص الناتجة واستبعاد الرموز غير المخصصة للتقييم وفق السياسة المعتمدة.
نحسب Precision وRecall وF1 على مستوى الكيانات مع مجموعة اختبار منفصلة وأمثلة نجاح وفشل؛ Accuracy على مستوى Tokens وحدها غير كافية.
شاهدها قبل الجلسة أو بعدها لتثبيت المفاهيم.
شرح بصري لبنية المحوّلات وكيف تتحول الكلمات إلى متجهات ذات معنى.
مبتدئيشرح محوّلات المُرمِّز مثل BERT وكيف تُنتج تمثيلات سياقية للنص.
متوسطفيديوهات Hugging Face الرسمية القصيرة: pipeline والـ tokenizers والضبط الدقيق.
مبتدئشرح عربي مفصّل لآلية الانتباه وبنية المحوّلات خطوة بخطوة.
متوسطمسارات أطول لمن يريد بناء الأساس بعد الجلسة.
الدورة الرسمية لمكتبة Transformers، وفصلها السابع يطبّق تصنيف الرموز وNER.
محاضرات ستانفورد الكاملة في معالجة اللغة لمن يريد العمق النظري.
روابط خارجية تفتح على YouTube ومنصات التعلّم وتخضع لسياساتها. تحقّقنا من عملها في نوفمبر 2026؛ اختر ما يناسب مستواك ولا يلزمك مشاهدتها كلها.
تشكل هذه الجلسة أساسًا مهمًا لفهم النماذج اللغوية الكبيرة (LLMs) التي ستُستخدم في الجلسات اللاحقة. ينتقل الطالب من كيفية تمثيل النصوص رقميًا إلى فهم آلية Attention وبنية Transformer، ثم يطبق ما تعلمه من خلال تخصيص نموذج مدرّب مسبقًا لمهمة استخراج الكيانات المسماة.
بنهاية الجلسة، يُتوقع أن يصبح الطالب قادرًا على:
| المفهوم | ما يتعلمه الطالب |
|---|---|
| Tokenization | تقسيم النص إلى وحدات يعالجها النموذج، وقد تكون كلمات أو أجزاء كلمات أو غير ذلك. |
| Embeddings | تمثيل الوحدات النصية بمتجهات رقمية يمكن للنموذج التعامل معها. |
| RNNs | معالجة التسلسلات باستخدام حالة تنتقل عبر الخطوات الزمنية، مع تحديات الاعتماديات البعيدة والتوازي. |
| Attention | حساب مدى ارتباط وحدات النص بعضها ببعض أثناء بناء التمثيلات. |
| Transformers | بنية تعتمد على آليات Attention ومكونات أخرى لمعالجة التسلسلات. |
| BERT | نموذج قائم على Transformer Encoder ويُستخدم في مهام مثل التصنيف واستخراج المعلومات. |
| GPT | عائلة نماذج توليدية ذاتية الانحدار تتنبأ بالوحدات النصية التالية ضمن السياق. |
تتضمن الجلسة أمثلة على تحديات معالجة النص العربي، ومنها:
| البعد | BERT | GPT |
|---|---|---|
| البنية الشائعة | Transformer Encoder | Autoregressive Transformer Decoder |
| طريقة الاستفادة من السياق | تمثيلات تعتمد على سياق الكلمة من الاتجاهين ضمن المدخل | توليد متتابع يعتمد على الوحدات السابقة ضمن السياق |
| الاستخدامات الشائعة | التصنيف واستخراج الكيانات والتمثيل النصي | توليد النصوص والمحادثة وإكمال النصوص |
| مثال ضمن المعسكر | Named Entity Recognition | تمهيد لتطبيقات LLM Engineering في الجلسة السادسة |
استخدام نموذج مدرّب مسبقًا من عائلة BERT وتخصيصه لاستخراج الكيانات المسماة من النصوص، مثل أسماء الأشخاص والمنظمات والأماكن.
المخرجات المتوقعة:
| النص المستخرج | نوع الكيان | الوسم |
|---|---|---|
| إبراهيم | شخص | PER |
| جامعة حلب | منظمة | ORG |
| سوريا | موقع جغرافي | LOC |
يسمى هذا النوع من المهام Named Entity Recognition (NER)، وهو من الاستخدامات الشائعة لـ Token Classification.
README.md يوضح البيانات والنموذج وخطوات التشغيل.خلاصة الجلسة
تُقدّم الجلسة الخامسة الأساس الذي يساعد الطالب على فهم كيفية معالجة النماذج الحديثة للنصوص، بدءًا من Tokenization وEmbeddings ووصولًا إلى Attention وTransformers، ثم تحويل هذا الفهم إلى تطبيق عملي عبر تخصيص نموذج BERT لمهمة استخراج الكيانات المسماة.
مهام التسليم مستخرجة من المنهج. أضف خطواتك الخاصة هنا.
لا توجد مهام تطابق هذا الفلتر.
دوّن ما تعلمته، أسئلتك، وروابط العمل التي تريد العودة إليها.