هندسة الأنظمة 3 ساعات8 مهام تسليم

اجعل الحوار تجربة حيّةالوكلاء الصوتيون ومتعددو الوسائط

ابنِ مدرب محادثة صوتيًا يستمع ويرد ويقبل المقاطعة. اختبر الأدوات، وقِس زمن الوصول إلى أول صوت.

PipecatWebRTCSTT / TTSBarge-in
09
ماذا ستبني؟

English Voice Coach

محادثة من ثلاثة أدوار، وخمس قياسات TTFA.

ماذا ستتعلم في هذه الجلسة؟

يشرح الفرق بين التطبيق النصي والوكيل الصوتي الفوري، وبين Chained STT → LLM → TTS وSpeech-to-Speech على المستوى المعماري.
يحدد وظيفة Transport وFrames وProcessors وPipeline في Pipecat.
يبيّن دور VAD والكشف عن نهاية دور المستخدم وسبب عدم تطابقهما دائمًا.
يشغّل محادثة صوتية عبر واجهة متوافقة مع WebRTC.
يدمج منطق أداة آمنة من الجلسة الثامنة دون افتراض إمكان توصيل Agent خارجي مباشرة بلا تكييف.
ينفّذ اختبار Barge-in ويتحقق من توقف الكلام السابق وعدم اختلاط الردود.
يقيس زمن الاستجابة بطريقة قابلة لإعادة المقارنة، ويوثق الفشل وحدوده.
يحدد متطلبات الخصوصية والتعامل مع أخطاء الاتصال ومفاتيح الخدمات.

تعمّق قبل الجلسة وبعدها

3 فيديو مختار
3 كورس

كيف تتقدم في التطبيق؟

  1. 01

    المسار الصوتي

  2. 02

    شخصية المدرب

  3. 03

    دمج أداة آمنة

  4. 04

    المقاطعة وقياس TTFA

أسئلة الجلسة وإجاباتها

ما المشروع المطلوب في جلسة Pipecat؟+

English Voice Coach يجري ثلاثة أدوار صوتية على الأقل، يستخدم أداة آمنة، يدعم المقاطعة، ويوثق اختبارات الفشل وزمن أول صوت. VisionTutor امتداد اختياري.

ما الفرق بين VAD وتحديد نهاية الدور؟+

VAD يرصد احتمال وجود كلام؛ أما نهاية الدور فتحدد اكتمال دور المستخدم. الصمت القصير قد يكون تفكيرًا قبل متابعة الجملة.

كيف نقيس زمن استجابة الوكيل الصوتي؟+

نثبت نقطة بداية القياس، مثل اكتشاف نهاية دور المستخدم، ونقيس وصول أول صوت مسموع من العميل. نوثق خمس تجارب TTFA على الأقل.

VisionTutor: امتداد اختياري

ابدأ بإكمال English Voice Coach. إضافة الصورة ليست شرطًا لاجتياز مهام الجلسة.

فيديوهات مختارة

شاهدها قبل الجلسة أو بعدها لتثبيت المفاهيم.

كورسات للتعمّق

مسارات أطول لمن يريد بناء الأساس بعد الجلسة.

Hugging Face

Audio Course

أساسيات معالجة الصوت ونماذج التعرّف على الكلام وتحويل النص إلى كلام.

مجانيEnglish

روابط خارجية تفتح على YouTube ومنصات التعلّم وتخضع لسياساتها. تحقّقنا من عملها في نوفمبر 2026؛ اختر ما يناسب مستواك ولا يلزمك مشاهدتها كلها.

المنهج الكامل · دون اختصارتنزيل المصدر
فهرس محتوى الجلسة

🎯 نظرة عامة#

في الجلسة الثامنة أنشأ الطلاب وكيلًا قادرًا على استخدام الأدوات لتحقيق أهداف محددة. في هذه الجلسة يتحول التفاعل معه من كتابة الرسائل إلى محادثة صوتية فورية: يستمع الوكيل، يحدد نهاية دور المتحدث، يستنتج المطلوب، يستدعي أدوات عند الحاجة، ثم يرد بالصوت، مع إمكانية مقاطعته أثناء الحديث.

تستند الجلسة إلى Pipecat بوصفه إطارًا لتنظيم خدمات وعمليات معالجة الصوت والنص والوسائط ضمن Pipeline. الهدف ليس جمع خدمات STT وLLM وTTS فقط، بل بناء تجربة حوارية متماسكة يمكن قياس جودتها واكتشاف إخفاقاتها.

✅ مخرجات التعلم#

بنهاية الجلسة يستطيع الطالب أن:

  • يشرح الفرق بين التطبيق النصي والوكيل الصوتي الفوري، وبين Chained STT → LLM → TTS وSpeech-to-Speech على المستوى المعماري.
  • يحدد وظيفة Transport وFrames وProcessors وPipeline في Pipecat.
  • يبيّن دور VAD والكشف عن نهاية دور المستخدم وسبب عدم تطابقهما دائمًا.
  • يشغّل محادثة صوتية عبر واجهة متوافقة مع WebRTC.
  • يدمج منطق أداة آمنة من الجلسة الثامنة دون افتراض إمكان توصيل Agent خارجي مباشرة بلا تكييف.
  • ينفّذ اختبار Barge-in ويتحقق من توقف الكلام السابق وعدم اختلاط الردود.
  • يقيس زمن الاستجابة بطريقة قابلة لإعادة المقارنة، ويوثق الفشل وحدوده.
  • يحدد متطلبات الخصوصية والتعامل مع أخطاء الاتصال ومفاتيح الخدمات.

🧠 الجزء النظري — من الصوت إلى قرارٍ ثم صوت#

1. هندسة الوكيل الصوتي — Voice Agent Architecture#

flowchart TD
    A["Microphone / Browser"] --> B["WebRTC Transport"]
    B --> C["VAD + Turn Detection"]
    C --> D["Streaming STT"]
    D --> E["Context + LLM / Agent"]
    E <--> F["Approved Tools"]
    E --> G["Streaming TTS"]
    G --> H["Audio Playback"]
    H --> I["User Interruption"]
    I --> C
تدفق النظام كما ورد في منهج الجلسة
المكوّنوظيفتهالسؤال الهندسي
Microphone / Transportاستقبال الصوت وإرساله وتلقي الصوت الناتجهل الاتصال مستقر؟ وهل توجد معالجة لصدى الصوت؟
VADرصد احتمال وجود كلام بشريمتى يبدأ الكلام ومتى يصمت المستخدم؟
Turn Detectionتحديد ما إذا كان المستخدم أنهى دوره الحواريهل الصمت القصير يعني نهاية الجملة؟
STTتحويل الصوت إلى نص، وقد يقدم نتائج جزئية ونهائيةما أثر الضجيج واللهجات وأخطاء التفريغ؟
LLM / Agentفهم الطلب وصياغة الرد واستدعاء الأدواتهل يملك السياق الصحيح؟ وهل استخدام الأدوات مسموح؟
TTSتوليد صوت مسموع من النص الناتجمتى يبدأ أول صوت؟ وهل الرد طويل جدًا؟
Context & Stateتتبع أدوار المحادثة وحالة التنفيذماذا يحدث عند المقاطعة أو الطلب المتكرر؟

2. Pipecat: Pipelines, Frames & Processors#

  • Pipeline: ترتيب مكونات المعالجة التي تمر عبرها البيانات.
  • Frames: رسائل بيانات أو تحكم تحمل الصوت أو النص أو الصور أو أحداث التفاعل.
  • Processors: مكونات تتعامل مع Frames؛ كالتفريغ والتوليد الصوتي وإدارة السياق.
  • Transport: قناة التواصل مع العميل؛ ويجب توافق اختيار Transport في طرف العميل والخادم.

يعرض المدرب تمرير رسالة صوتية خلال النظام، ثم يوضح أين تظهر Transcription Frames وأين يبدأ إنتاج الصوت، وكيف تؤثر إشارة المقاطعة في العمل الجاري. يستفاد من مثال Pipecat الرسمي كأساس لبيئة المختبر بدل كتابة جميع طبقات الاتصال أثناء الجلسة.

3. Streaming, WebRTC & Latency#

المفهومالتفسير التطبيقي
Streamingوصول ومعالجة أجزاء متتابعة من الصوت أو النص بدلاً من انتظار النتيجة النهائية كاملة.
WebRTCآلية اتصال فوري مناسبة لنقل الوسائط بين المتصفح والخادم، مع دعم خصائص مهمة لجودة الاتصال الصوتي.
Latencyالزمن الذي يشعر به المستخدم قبل بدء الرد وما يتبعه من تأخر أثناء المحادثة.
Time to First Audio (TTFA)الفترة بين حدث بداية القياس المتفق عليه وبدء وصول/تشغيل صوت رد الوكيل.
Barge-inقدرة المستخدم على بدء الكلام أثناء رد الوكيل والتسبب في إيقاف أو تعديل الرد الجاري.

مثال ميزانية زمن الاستجابة (تصوري، وليست أرقام أداء مضمونة):

  1. نهاية دور المستخدم أو اتخاذ قرار نهاية الدور.
  2. اكتمال النص المطلوب من STT.
  3. بدء معالجة النموذج أو الأداة.
  4. وصول أول جزء مناسب إلى TTS.
  5. وصول أول صوت وتشغيله لدى المستخدم.

4. Turn-Taking, Interruption & Context#

تشرح الجلسة السيناريوهات التالية:

  • يبدأ المستخدم الكلام بينما الوكيل يقرأ ردًا طويلًا → إيقاف الصوت المتبقي والتعامل مع الدور الجديد.
  • توقف المستخدم مؤقتًا داخل الجملة → لا ينبغي القفز إلى إجابة مبكرة بلا مبرر.
  • وصول نص جزئي غير دقيق من STT → لا يُنفّذ إجراء حساس اعتمادًا على افتراض غير مؤكد.
  • حدوث مقاطعة خلال تنفيذ أداة → تحديد سياسة واضحة لإلغاء الطلب أو انتظار نتيجته أو تجاهل مخرجات الرد القديم.
  • طلب معلومة سابقة في الحوار → استرجاع سياق الجلسة دون خلطه ببيانات جلسة أخرى.

5. Multimodal Voice Agents#

يمكن توسيع تفاعل الوكيل ليشمل صورة من المستخدم أو إطار فيديو، بالإضافة إلى السؤال الصوتي. في هذا النمط يجب الانتباه إلى:

  • إدراج الصورة ضمن سياق نموذج يدعم المدخلات البصرية فعليًا.
  • ربط السؤال بالصورة الصحيحة وتوقيتها ضمن المحادثة.
  • تقليل عدد الصور/الإطارات لتجنب زمن الاستجابة والتكلفة الزائدة.
  • توضيح أن النموذج قد يخطئ في تفسير محتوى الصورة، وألا يخترع تفاصيل غير ظاهرة.

🧪 المشروع الأساسي — English Voice Coach#

فكرة المنتج#

مساعد صوتي يجري محادثة قصيرة باللغة الإنجليزية مع المتعلم، يتكيف مع موضوع المحادثة ويقدم تغذية راجعة تعليمية بسيطة حول وضوح الفكرة وصياغة الجملة، ويقترح تعبيرًا أفضل عندما يلزم.

ما يميّز المشروع عن Voice Chatbot بسيط:

  1. التفاعل قائم على الأدوار الصوتية لا رسائل نصية منفصلة فقط.
  2. يتمكن المتعلم من مقاطعة الرد أو طلب توضيح أثناء الحوار.
  3. يستدعي الوكيل أداة محددة لاختيار موضوع تدريب أو مستوى صعوبة من بيانات محلية.
  4. يظهر الملخص النهائي ملاحظتين مفيدتين فقط بدل إغراق المتعلم بالتصحيحات أثناء الحديث.
  5. يوثق فريق العمل زمن الاستجابة ونتائج اختبارات المقاطعة.

المتطلبات الوظيفية (MVP)#

  • يبدأ المستخدم الجلسة من واجهة Browser متصلة بالوكيل.
  • يستطيع إجراء ثلاثة أدوار حوارية متتالية على الأقل صوتيًا.
  • يفهم النظام سؤالًا باللغة الإنجليزية ويرد بصوت إنجليزي واضح.
  • يستخدم أداة get_practice_topic(level) أو أداة مشابهة منطقها مأخوذ من الجلسة الثامنة.
  • يستطيع المستخدم مقاطعة رد صوتي طويل وتقديم سؤال جديد.
  • يطلب الوكيل توضيحًا عند عدم فهم النص المستخرج بدل افتراض معنى غير مؤكد.
  • يقدم في نهاية الحوار ملخصًا موجزًا وتوصية واحدة للتحسين.

آلية إعادة استخدام Agent الجلسة الثامنة#

بدلاً من نقل كامل النظام كما هو، نحدد واجهة تكييف (Adapter) بين الوكيل الصوتي والمنطق السابق:

text
Voice Input → STT → Conversation Turn
                       ↓
              Tool/Agent Adapter
                       ↓
             Approved Tool Result
                       ↓
             Short Voice Response → TTS

يجب أن يحترم الـAdapter حدود زمن الانتظار، وأن يميز بين رد قصير مناسب للصوت وبين تقرير طويل يُفضّل عرضه كتابيًا. وإذا لم يكن وكيل الجلسة الثامنة جاهزًا، يُستبدل مؤقتًا بأداة بيانات محلية بسيطة لضمان إنجاز المشروع الأساسي.

خطوات المختبر#

المرحلة 1 — تشغيل قالب Pipecat جاهز#
  • تشغيل مثال Pipecat الرسمي بعد ضبط البيئة والاعتماديات.
  • ضبط مفاتيح الخدمات في .env محليًا وعدم رفع الملف إلى Git.
  • تشغيل واجهة اتصال صوتي واختبار صلاحية الميكروفون.
  • التأكد من عمل المسار الأساسي STT → LLM → TTS.
المرحلة 2 — بناء شخصية English Voice Coach#
  • تحديد دور النظام وقواعد الحوار باللغة الإنجليزية.
  • طلب ردود قصيرة وطبيعية تناسب الاستجابة الصوتية.
  • إعداد قائمة موضوعات (Daily Life, Technical Interview, University, Travel).
  • تحديد طريقة تقديم التغذية الراجعة بعد انتهاء التمرين، لا بعد كل كلمة.
المرحلة 3 — Tool Integration#
  • ربط أداة get_practice_topic بواجهة واضحة للمدخلات والنتائج.
  • التحقق من الوسائط المدخلة للأداة وحدود القيم المقبولة.
  • اختبار نجاح الاستدعاء وفشله أو انتهاء مهلته.
  • إرجاع رسالة صوتية مفهومة عندما تتعطل الأداة.
المرحلة 4 — Interruption & Reliability#
  • تشغيل رد صوتي طويل نسبيًا ومقاطعته بسؤال جديد.
  • التحقق من توقف الصوت القديم وعدم تداخل الإجابات.
  • اختبار صمت قصير وسط كلام المستخدم.
  • اختبار تعذر التفريغ أو انقطاع اتصال خدمة واحدة.
المرحلة 5 — Measurements & Demo#
  • تنفيذ 5 تجارب متشابهة وتسجيل TTFA وفق تعريف قياس ثابت.
  • توثيق الحالة الوسيطة/المتوسط وملاحظة أي قيم متطرفة، دون ادعاء دقة إحصائية واسعة.
  • تسجيل حالة نجاح وحالة فشل مع تفسير سبب الفشل المحتمل.
  • تقديم عرض صوتي قصير أو تسجيل بموافقة جميع المشاركين الظاهرين فيه.

الامتداد الاختياري — VisionTutor#

إذا نجح الفريق في الـMVP قبل نهاية المختبر، يضيف صورة ثابتة واحدة عبر آلية ملائمة لقدرات خدماته ونموذجه، ثم يطرح سؤالًا صوتيًا عنها ويستقبل شرحًا صوتيًا.


⏱️ الجدول الزمني — 180 دقيقة#

الزمنالمدةالنشاطالنتيجة
00:00–00:1515 دعرض حي ونقاش عن تجربة المحادثة الطبيعيةفهم الهدف والمشكلات الواقعية
00:15–00:4025 دPipecat Architecture: Transport, Frames, STT/LLM/TTSمخطط معماري واضح
00:40–01:0020 دVAD، نهاية الدور، المقاطعات، Streaming، Latencyفهم التحديات والتقييم
01:00–01:1010 داستراحة—
01:10–01:3020 دتشغيل القالب التجهيزي واختبار الاتصالVoice Pipeline يعمل
01:30–02:0535 دبناء English Voice Coach متعدد الأدوارمحادثة صوتية تفاعلية
02:05–02:3025 دربط أداة من الجلسة الثامنة عبر AdapterTool-enabled Voice Agent
02:30–02:5020 داختبار المقاطعات والفشل وقياس TTFAسجل قياسات وحالات
02:50–03:0010 دعروض مختصرة، أسئلة، وتحديد الواجبخطة إكمال واضحة

📦 التسليم النهائي (Deliverables)#

  • مستودع يحوي English Voice Coach قابلًا للتشغيل.
  • README.md يشرح المتطلبات والخدمات وخطوات التشغيل ومشكلات الإعداد المتوقعة.
  • .env.example يوضح أسماء المتغيرات دون حفظ أي أسرار حقيقية.
  • مخطط مختصر للـPipeline وموضع Tool Adapter.
  • تسجيل أو عرض لتفاعل صوتي من 3 أدوار أو أكثر.
  • دليل على اختبار Barge-in واختبار فشل واحد.
  • ملف evaluation.md أو metrics.csv يحوي تعريف القياس وخمس نتائج TTFA على الأقل.
  • Pull Request إلى مستودع المعسكر، مع تعليقات مراجعة من الطالب.

معايير القبول والتقييم#

المعيارالوزن
صحة تشغيل المسار الصوتي والمحادثة متعددة الأدوار30%
دمج أداة بشكل واضح وسليم20%
اختبار المقاطعة وإدارة السياق والفشل25%
جودة القياسات وتوثيق الأدلة15%
تنظيم المشروع والتسليم عبر PR10%
المجموع100%

🧰 استعدادات المدرب قبل الجلسة#

  • اختبار توافق نسخة Pipecat المختارة مع المثال الرسمي وأسماء الواجهات البرمجية؛ لا تعتمد على أسماء أصناف قديمة دون تحقق.
  • إعداد Starter Repo يحتوي Pipecat Voice Bot يعمل، وخيار اتصال مناسب للبيئة المحلية.
  • تجهيز موارد الاعتماديات مسبقًا لتقليل أثر ضعف الإنترنت في المختبر.
  • توفير مفاتيح خدمات أو حصص تجريبية دون مشاركتها داخل الشيفرة أو ملفات Git.
  • إعداد سيناريو Offline/Recorded Demo بديل عندما يتعذر استخدام الميكروفون أو خدمة سحابية.
  • تحضير ملف اختبار للمقاطعة وبيانات محلية بسيطة لأداة get_practice_topic.
  • تجهيز حالات فشل مقصودة: STT غير واضح، استجابة أداة بطيئة، انقطاع TTS.
  • اختبار سماعات الرأس والميكروفونات لتجنب تغذية الصوت الراجعة.

🔐 الخصوصية والأمان#

  • لا تسجلوا أصوات الطلاب أو صورهم دون موافقة واضحة؛ ولا تشاركوا التسجيلات خارج نطاق التدريب بغير إذن.
  • لا تضعوا مفاتيح API في المستودع أو كود الواجهة الأمامية.
  • لا ترسلوا تسجيلات حساسة أو بيانات شخصية إلى خدمات خارجية دون حاجة وإذن مناسبين.
  • لا تمنحوا أدوات الوكيل صلاحيات تعديل ملفات أو إجراء معاملات حقيقية ضمن التطبيق التعليمي.
  • احذفوا أو أخفوا النصوص الحساسة من Logs وTraces وأمثلة العرض.
  • عند تعطل خدمة مهمة، أعيدوا رسالة توضح المشكلة بدلاً من إيهام المستخدم بأن العملية نجحت.

🔗 مراجع ومصادر رسمية#

  1. Pipecat — Official Documentation
  2. Pipecat — Quickstart
  3. Pipecat — Pipeline & Frame Processing
  4. Pipecat — Your First Agent
  5. Pipecat — Choosing a Transport
  6. Pipecat — Service Events & Errors
  7. Pipecat — Examples

🏁 خلاصة الجلسة#

تطوير Voice Agent احترافي لا ينتهي بمجرد نطق النموذج لإجابته. التجربة الناجحة تتطلب توقيتًا مناسبًا للأدوار، وإدارة للمقاطعة والسياق، وحدودًا واضحة لاستخدام الأدوات، وقياسًا واقعيًا لزمن الاستجابة، وسلوكًا مفهومًا عند حدوث خطأ.

حوّل التعلّم إلى إنجاز.

مهام التسليم مستخرجة من المنهج. أضف خطواتك الخاصة هنا.

0 / 8

مهامي الخاصة 0

أفكارك تستحق أن تُحفظ.

دوّن ما تعلمته، أسئلتك، وروابط العمل التي تريد العودة إليها.

ما الذي تريد تعلّمه؟

بحث في محتوى الجلسات العشر. استخدم Esc للإغلاق.