AI Eval Concepts Explained in 15 Minutes
مفاهيم التقييم الأساسية: التتبعات وتحليل الأخطاء والتقييم الآلي وأخطاؤه الشائعة.
مبتدئاجمع ما بنيته في نموذج أولي واعٍ بمتطلبات الإنتاج. أثبت إمكانية تشغيله، اعرض نتائج التقييم، واشرح حدوده.
90 دقيقة للجاهزية، و90 دقيقة لعرض المشاريع.
مشروع Capstone أولي قابل للتشغيل وإعادة الإنتاج، مع اختبارات وتقييم وتوثيق وعرض واضح لحدوده؛ لا تعني الجلسة أنه أصبح نظام إنتاج كاملًا.
تقييم النموذج يقيس تنبؤاته، وتقييم النظام يختبر المهمة من البداية للنهاية، والمراقبة تتابع جودة الخدمة والأخطاء والزمن والتكلفة بعد النشر.
سبع دقائق تشمل المشكلة والحل والمعمارية وتجربة حية والنتائج والحدود، ثم دقيقتان للأسئلة، مع تسجيل احتياطي لا يتجاوز دقيقتين.
شاهدها قبل الجلسة أو بعدها لتثبيت المفاهيم.
مفاهيم التقييم الأساسية: التتبعات وتحليل الأخطاء والتقييم الآلي وأخطاؤه الشائعة.
مبتدئدورة Docker شاملة: الصور والحاويات وCompose قبل نشر مشروعك.
مبتدئكيف تعرض مشروعك بوضوح وإقناع في دقائق، مفيد مباشرة ليوم العرض.
مبتدئجلسة عربية تحوّل كود الدفاتر إلى خدمة ML إنتاجية مختبرة بـ FastAPI وDocker.
متوسطمسارات أطول لمن يريد بناء الأساس بعد الجلسة.
دورة قصيرة عن تقييم الوكلاء بالتتبعات ومقاييس الجودة واستخدام LLM كحَكَم.
منهج مجاني لهندسة ML الإنتاجية: الاختبار والنشر والمراقبة والـ CI/CD.
روابط خارجية تفتح على YouTube ومنصات التعلّم وتخضع لسياساتها. تحقّقنا من عملها في نوفمبر 2026؛ اختر ما يناسب مستواك ولا يلزمك مشاهدتها كلها.
اختبار Notebook ناجح أو Demo مذهل لا يعني وحده أن المشروع أصبح منتجًا. يحتاج مهندس الذكاء الاصطناعي إلى فهم ما يحدث بعد تدريب النموذج: كيفية تشغيله داخل تطبيق، وضمان أن تحديث الشيفرة لا يكسر الوظائف السابقة، وقياس جودة النتائج، ورصد الأعطال، وحماية بيانات المستخدمين.
تمثل الجلسة العاشرة نقطة جمع لجميع المخرجات السابقة في المعسكر، وتنتهي بيوم تعرض فيه الفرق مشاريعها وتناقش قراراتها الهندسية وأدلة نجاحها، وليس المظهر الخارجي وحده.
بنهاية الجلسة يستطيع الطالب أن:
flowchart TD
A["Model / AI Logic"] --> B["API or App"]
B --> C["Container & Config"]
C --> D["CI + Evaluations"]
D --> E["Staging Deployment"]
E --> F["Monitoring & Feedback"]
F --> Dحالة توضيحية: يمتلك فريق نموذج تصنيف أو مساعد RAG يعمل من Notebook. لعرضه كتطبيق قابل لإعادة التشغيل، يحتاج إلى فصل منطق الاستدلال عن الواجهة، وتثبيت الاعتماديات، واختبارات، وطريقة تشغيل واضحة، وسجل يشرح متى يُخفق النظام.
| في مرحلة التجربة | عند تحويله إلى منتج |
|---|---|
| تدريب أو استدلال داخل Notebook | واجهة API أو واجهة مستخدم مستقلة |
| إعدادات تعتمد على جهاز المطوّر | اعتماديات وإعدادات قابلة لإعادة التهيئة |
| تجربة واحدة ناجحة | اختبارات آلية وحالات فشل معروفة |
| دقة النموذج على مجموعة اختبار | جودة وظيفية وأداء وموثوقية وتجربة مستخدم |
| تشغيل يدوي | تشغيل موثق ونشر قابل للتكرار |
| ملاحظة الأخطاء بالصدفة | Logs وMetrics وTraces وتنبيهات عند الحاجة |
POST /predict أو POST /answer.تمكن GitHub Actions الفريق من تشغيل خطوات متكررة آليًا عند فتح Pull Request أو تحديثه. تشمل الفحوص المناسبة لمشاريع المعسكر:
flowchart TD
A["Open / Update PR"] --> B["Run CI"]
B --> C{"Checks passed?"}
C -- "No" --> D["Fix + Re-run"]
D --> B
C -- "Yes" --> E["Human Review"]
E --> F["Merge when approved"]| مستوى التقييم | السؤال الرئيسي | أمثلة للمقاييس |
|---|---|---|
| Model Evaluation | هل يقدم النموذج تنبؤات جيدة على بيانات ممثلة؟ | F1، Precision، Recall، MAE، نتائج مجموعة اختبار |
| System Evaluation | هل ينجز التطبيق المهمة من البداية للنهاية بصورة صحيحة ومستقرة؟ | نجاح سيناريوهات E2E، صحة API، زمن الاستجابة، فشل الاسترجاع، سلوك الأخطاء |
| Production Monitoring | هل يستمر النظام في تقديم الخدمة بالمستوى المطلوب بعد النشر؟ | معدل الأخطاء، P95 Latency، استهلاك الموارد، التكلفة، تغير جودة النتائج عبر الزمن |
| نوع Capstone | تقييم جودة AI | تقييم النظام |
|---|---|---|
| ML Classification | F1 / Precision / Recall / Calibration عند اللزوم | عقد API، المدخلات الخاطئة، زمن الاستدلال |
| Computer Vision | mAP أو Precision/Recall للكشف، ودقة الأحداث/العدّ إن وجدت | فيديو طويل، أخطاء الإطارات، زمن المعالجة، استقرار التتبع |
| RAG Assistant | دقة الاسترجاع، صحة الاستناد للمصدر، جودة الإجابة | فشل قاعدة المتجهات، عدم وجود نتائج، زمن وتكلفة الاستجابة |
| Agentic AI | نجاح المهمة، صحة استخدام الأدوات، التوقف الآمن عند الفشل | إعادة المحاولة، حدود الصلاحيات، تتبع خطوات التنفيذ |
| Voice Agent | ملاءمة الرد، فهم الطلب، جودة الحوار | Barge-in، TTFA، انقطاع الخدمة، سلامة أدوات التنفيذ |
عند تعديل Prompt أو نموذج أو Pipeline، اختبر مجموعة أسئلة/مدخلات ثابتة مقارنة بإصدار معروف. هدف ذلك رصد التراجع، وليس إثبات أن النظام لا يخطئ مطلقًا. وقد تحتاج الأنظمة التوليدية إلى تقييم مرن أو مراجعة بشرية لعينة من النتائج، بدل مساواة الإجابات بالنص حرفيًا.
| الإشارة | دورها | مثال |
|---|---|---|
| Logs | تسجيل أحداث محددة وأخطاء الخدمة | فشل طلب مع رمز خطأ ومعرّف جلسة غير حساس |
| Metrics | متابعة المقاييس الكمية عبر الزمن | عدد الطلبات، P95 Latency، معدل الأخطاء، التكلفة |
| Traces | فهم تسلسل العملية بين المكونات | Request → Retrieval → LLM → Response |
سيناريو عملي: التطبيق يستجيب HTTP 200 لكنه يعيد إجابة دون مصدر صحيح. يوضح المدرب كيف قد يكشف System Evaluation الخلل الوظيفي بينما لا يستطيع فحص Health Check وحده اكتشافه.
.env.example للقيم المطلوبة دون أسرار حقيقية، و.gitignore / .dockerignore مناسبان.| الخيار | مناسب عادةً لـ | ملاحظات عملية |
|---|---|---|
| Hugging Face Spaces | عروض ML/AI التفاعلية ومشاريع Portfolio | يوفر مسارات لاستضافة عروض Gradio وDocker؛ تحقق من شروط الحساب والموارد الحالية قبل التخطيط. |
| Render / Railway | تطبيقات Web/API صغيرة ومتوسطة | تحقق من خطط الخدمة وقيود الموارد وتكاليف التشغيل والبيئات المتاحة. |
| VPS | فرق تريد تحكمًا أكبر في الخدمة | يتطلب مسؤولية مباشرة عن التحديثات وTLS والجدار الناري والنسخ الاحتياطي والمراقبة. |
| Local/Recorded Demo | المشاريع التي لم تُنشر بعد أو تحتاج موارد خاصة | مقبول للعرض مع توضيح أنه ليس نشرًا إنتاجيًا. |
يطبق الطلاب على مشروع سبق بناؤه، ويجب تحقيق أكبر عدد ممكن من العناصر التالية:
| الوقت | المدة | النشاط |
|---|---|---|
| 00:00–00:10 | 10 د | Productization: Notebook vs Product وخريطة المتطلبات |
| 00:10–00:30 | 20 د | FastAPI + Docker Live Build على مشروع جاهز |
| 00:30–00:45 | 15 د | GitHub Actions + PR Checks |
| 00:45–01:00 | 15 د | Model/System/Production Evaluation وRegression Evals |
| 01:00–01:10 | 10 د | Observability: Logs, Metrics, Traces |
| 01:10–01:20 | 10 د | Security, Privacy, Secrets & Tool Permissions |
| 01:20–01:25 | 5 د | اختيار مسار النشر وفحص الجاهزية |
| 01:25–01:30 | 5 د | استراحة وانتقال إلى Demo Day |
تقدم الفرق مشروعًا حقيقيًا يثبت ما تعلمته من تحليل المشكلة وحتى التنفيذ والتقييم. ويقيس العرض جودة القرار الهندسي والتجربة والنتائج، وليس عدد النماذج أو التقنيات المستخدمة.
| العنصر | المدة المقترحة | ما يجب توضيحه |
|---|---|---|
| المشكلة ولماذا تهم | 45 ثانية | المستفيد والأثر المطلوب |
| الحل والقيمة | 45 ثانية | ما الذي يقدمه التطبيق؟ |
| المعمارية وتدفق البيانات | 60 ثانية | المكونات الأساسية وسبب اختيارها |
| Live Demo | 2 دقيقة | سيناريو أساسي قابل للتكرار |
| نتائج التقييم | 60 ثانية | مقياسان مناسبان على الأقل، مع طريقة قياسهما |
| التحديات والحدود والخطوات التالية | 90 ثانية | فشل معروف وتحسين مقترح |
| المجموع | 7 دقائق | ثم دقيقتان للأسئلة والأجوبة |
| المعيار | الوزن | دلائل مطلوبة |
|---|---|---|
| وضوح المشكلة وقيمة الحل | 10% | مشكلة محددة ومستخدم مستهدف واضح |
| المعمارية والتنفيذ الهندسي | 20% | مكونات مترابطة وقرارات مبررة ومستودع منظم |
| التقييم العلمي وجودة النتائج | 20% | بيانات/سيناريوهات اختبار ومقاييس مناسبة وتحليل أخطاء |
| اعتمادية النظام وجاهزية التشغيل | 20% | تشغيل قابل للإعادة، اختبارات، CI، أمان أساسي |
| تجربة المستخدم والعرض العملي | 15% | Demo واضح يستعرض المهمة الأساسية |
| التواصل والتوثيق والوعي بالحدود | 15% | README جيد، تقديم مختصر، إقرار بالمحدوديات |
| المجموع | 100% | — |
| الوقت ضمن Demo Day | النشاط | المدة |
|---|---|---|
| 00:00–00:05 | شرح آلية التقييم وتوزيع الأدوار | 5 د |
| 00:05–01:17 | عروض 8 فرق × (7 دقائق + دقيقتين أسئلة) | 72 د |
| 01:17–01:27 | تغذية راجعة وإعلان النتائج/التوصيات | 10 د |
| 01:27–01:30 | ختام المعسكر والصورة الجماعية | 3 د |
| الإجمالي | 90 د |
README.md يشرح المشكلة، المعمارية، خطوات التثبيت، والتشغيل.requirements أو ملف اعتماديات/Lockfile مثبت ومحدث.Dockerfile أو مسار تشغيل موثق ومبرر إن تعذر استخدام Docker.tests/ مع طريقة تشغيل الاختبارات ونتائجها.evaluation.md يحتوي البيانات والمقاييس ونتائج قابلة للتحقق.بعد Demo Day، يستطيع الطالب تحويل عمله إلى مثال مهني لملف أعماله.
| حقل | القيمة |
|---|---|
| اسم الفريق | |
| اسم المشروع | |
| المستودع / رابط العرض | |
| المشكلة والحل — /10 | |
| المعمارية والتنفيذ — /20 | |
| التقييم والنتائج — /20 | |
| اعتمادية التشغيل — /20 | |
| تجربة المستخدم — /15 | |
| التوثيق والتواصل — /15 | |
| النتيجة — /100 | |
| أبرز نقطة قوة | |
| أكبر مخاطرة أو نقص | |
| توصية للمشروع بعد المعسكر |
لكل فريق:
للمعسكر:
بدأ الطلاب بالتعاون وGit وGitHub، ثم انتقلوا من تعلم الآلة والتعلم العميق إلى Computer Vision وNLP، وبعدها تعلموا بناء تطبيقات LLM وRAG، والعمل مع وكلاء البرمجة، وتصميم Agentic وVoice AI Systems. في الجلسة الأخيرة يجمعون هذه المهارات حول مشروع واحد يمكن شرحه وتشغيله وقياسه ومراجعته.
مهام التسليم مستخرجة من المنهج. أضف خطواتك الخاصة هنا.
لا توجد مهام تطابق هذا الفلتر.
دوّن ما تعلمته، أسئلتك، وروابط العمل التي تريد العودة إليها.