2025 Voice AI and Voice Agents Course (playlist)
دورة من مؤسس Pipecat تغطي بنية الوكلاء الصوتيين: STT وLLM وTTS والكمون.
متوسطابنِ مدرب محادثة صوتيًا يستمع ويرد ويقبل المقاطعة. اختبر الأدوات، وقِس زمن الوصول إلى أول صوت.
محادثة من ثلاثة أدوار، وخمس قياسات TTFA.
English Voice Coach يجري ثلاثة أدوار صوتية على الأقل، يستخدم أداة آمنة، يدعم المقاطعة، ويوثق اختبارات الفشل وزمن أول صوت. VisionTutor امتداد اختياري.
VAD يرصد احتمال وجود كلام؛ أما نهاية الدور فتحدد اكتمال دور المستخدم. الصمت القصير قد يكون تفكيرًا قبل متابعة الجملة.
نثبت نقطة بداية القياس، مثل اكتشاف نهاية دور المستخدم، ونقيس وصول أول صوت مسموع من العميل. نوثق خمس تجارب TTFA على الأقل.
ابدأ بإكمال English Voice Coach. إضافة الصورة ليست شرطًا لاجتياز مهام الجلسة.
شاهدها قبل الجلسة أو بعدها لتثبيت المفاهيم.
دورة من مؤسس Pipecat تغطي بنية الوكلاء الصوتيين: STT وLLM وTTS والكمون.
متوسطورشة عملية من فريق Pipecat لبناء وكيل صوتي فوري خطوة بخطوة.
متوسطيشرح تصميم وكلاء صوت منخفضي الكمون مفتوحي المصدر ونشرهم للإنتاج.
متوسطمسارات أطول لمن يريد بناء الأساس بعد الجلسة.
دورة قصيرة مجانية عن بناء وكلاء صوت للإنتاج وقياس الكمون وتحسينه.
دليل مجاني مصوّر من فريق Pipecat يشرح مكدس الوكلاء الصوتيين كاملاً.
روابط خارجية تفتح على YouTube ومنصات التعلّم وتخضع لسياساتها. تحقّقنا من عملها في نوفمبر 2026؛ اختر ما يناسب مستواك ولا يلزمك مشاهدتها كلها.
في الجلسة الثامنة أنشأ الطلاب وكيلًا قادرًا على استخدام الأدوات لتحقيق أهداف محددة. في هذه الجلسة يتحول التفاعل معه من كتابة الرسائل إلى محادثة صوتية فورية: يستمع الوكيل، يحدد نهاية دور المتحدث، يستنتج المطلوب، يستدعي أدوات عند الحاجة، ثم يرد بالصوت، مع إمكانية مقاطعته أثناء الحديث.
تستند الجلسة إلى Pipecat بوصفه إطارًا لتنظيم خدمات وعمليات معالجة الصوت والنص والوسائط ضمن Pipeline. الهدف ليس جمع خدمات STT وLLM وTTS فقط، بل بناء تجربة حوارية متماسكة يمكن قياس جودتها واكتشاف إخفاقاتها.
بنهاية الجلسة يستطيع الطالب أن:
flowchart TD
A["Microphone / Browser"] --> B["WebRTC Transport"]
B --> C["VAD + Turn Detection"]
C --> D["Streaming STT"]
D --> E["Context + LLM / Agent"]
E <--> F["Approved Tools"]
E --> G["Streaming TTS"]
G --> H["Audio Playback"]
H --> I["User Interruption"]
I --> C| المكوّن | وظيفته | السؤال الهندسي |
|---|---|---|
| Microphone / Transport | استقبال الصوت وإرساله وتلقي الصوت الناتج | هل الاتصال مستقر؟ وهل توجد معالجة لصدى الصوت؟ |
| VAD | رصد احتمال وجود كلام بشري | متى يبدأ الكلام ومتى يصمت المستخدم؟ |
| Turn Detection | تحديد ما إذا كان المستخدم أنهى دوره الحواري | هل الصمت القصير يعني نهاية الجملة؟ |
| STT | تحويل الصوت إلى نص، وقد يقدم نتائج جزئية ونهائية | ما أثر الضجيج واللهجات وأخطاء التفريغ؟ |
| LLM / Agent | فهم الطلب وصياغة الرد واستدعاء الأدوات | هل يملك السياق الصحيح؟ وهل استخدام الأدوات مسموح؟ |
| TTS | توليد صوت مسموع من النص الناتج | متى يبدأ أول صوت؟ وهل الرد طويل جدًا؟ |
| Context & State | تتبع أدوار المحادثة وحالة التنفيذ | ماذا يحدث عند المقاطعة أو الطلب المتكرر؟ |
يعرض المدرب تمرير رسالة صوتية خلال النظام، ثم يوضح أين تظهر Transcription Frames وأين يبدأ إنتاج الصوت، وكيف تؤثر إشارة المقاطعة في العمل الجاري. يستفاد من مثال Pipecat الرسمي كأساس لبيئة المختبر بدل كتابة جميع طبقات الاتصال أثناء الجلسة.
| المفهوم | التفسير التطبيقي |
|---|---|
| Streaming | وصول ومعالجة أجزاء متتابعة من الصوت أو النص بدلاً من انتظار النتيجة النهائية كاملة. |
| WebRTC | آلية اتصال فوري مناسبة لنقل الوسائط بين المتصفح والخادم، مع دعم خصائص مهمة لجودة الاتصال الصوتي. |
| Latency | الزمن الذي يشعر به المستخدم قبل بدء الرد وما يتبعه من تأخر أثناء المحادثة. |
| Time to First Audio (TTFA) | الفترة بين حدث بداية القياس المتفق عليه وبدء وصول/تشغيل صوت رد الوكيل. |
| Barge-in | قدرة المستخدم على بدء الكلام أثناء رد الوكيل والتسبب في إيقاف أو تعديل الرد الجاري. |
مثال ميزانية زمن الاستجابة (تصوري، وليست أرقام أداء مضمونة):
تشرح الجلسة السيناريوهات التالية:
يمكن توسيع تفاعل الوكيل ليشمل صورة من المستخدم أو إطار فيديو، بالإضافة إلى السؤال الصوتي. في هذا النمط يجب الانتباه إلى:
مساعد صوتي يجري محادثة قصيرة باللغة الإنجليزية مع المتعلم، يتكيف مع موضوع المحادثة ويقدم تغذية راجعة تعليمية بسيطة حول وضوح الفكرة وصياغة الجملة، ويقترح تعبيرًا أفضل عندما يلزم.
ما يميّز المشروع عن Voice Chatbot بسيط:
get_practice_topic(level) أو أداة مشابهة منطقها مأخوذ من الجلسة الثامنة.بدلاً من نقل كامل النظام كما هو، نحدد واجهة تكييف (Adapter) بين الوكيل الصوتي والمنطق السابق:
Voice Input → STT → Conversation Turn
↓
Tool/Agent Adapter
↓
Approved Tool Result
↓
Short Voice Response → TTSيجب أن يحترم الـAdapter حدود زمن الانتظار، وأن يميز بين رد قصير مناسب للصوت وبين تقرير طويل يُفضّل عرضه كتابيًا. وإذا لم يكن وكيل الجلسة الثامنة جاهزًا، يُستبدل مؤقتًا بأداة بيانات محلية بسيطة لضمان إنجاز المشروع الأساسي.
.env محليًا وعدم رفع الملف إلى Git.get_practice_topic بواجهة واضحة للمدخلات والنتائج.إذا نجح الفريق في الـMVP قبل نهاية المختبر، يضيف صورة ثابتة واحدة عبر آلية ملائمة لقدرات خدماته ونموذجه، ثم يطرح سؤالًا صوتيًا عنها ويستقبل شرحًا صوتيًا.
| الزمن | المدة | النشاط | النتيجة |
|---|---|---|---|
| 00:00–00:15 | 15 د | عرض حي ونقاش عن تجربة المحادثة الطبيعية | فهم الهدف والمشكلات الواقعية |
| 00:15–00:40 | 25 د | Pipecat Architecture: Transport, Frames, STT/LLM/TTS | مخطط معماري واضح |
| 00:40–01:00 | 20 د | VAD، نهاية الدور، المقاطعات، Streaming، Latency | فهم التحديات والتقييم |
| 01:00–01:10 | 10 د | استراحة | — |
| 01:10–01:30 | 20 د | تشغيل القالب التجهيزي واختبار الاتصال | Voice Pipeline يعمل |
| 01:30–02:05 | 35 د | بناء English Voice Coach متعدد الأدوار | محادثة صوتية تفاعلية |
| 02:05–02:30 | 25 د | ربط أداة من الجلسة الثامنة عبر Adapter | Tool-enabled Voice Agent |
| 02:30–02:50 | 20 د | اختبار المقاطعات والفشل وقياس TTFA | سجل قياسات وحالات |
| 02:50–03:00 | 10 د | عروض مختصرة، أسئلة، وتحديد الواجب | خطة إكمال واضحة |
README.md يشرح المتطلبات والخدمات وخطوات التشغيل ومشكلات الإعداد المتوقعة..env.example يوضح أسماء المتغيرات دون حفظ أي أسرار حقيقية.evaluation.md أو metrics.csv يحوي تعريف القياس وخمس نتائج TTFA على الأقل.| المعيار | الوزن |
|---|---|
| صحة تشغيل المسار الصوتي والمحادثة متعددة الأدوار | 30% |
| دمج أداة بشكل واضح وسليم | 20% |
| اختبار المقاطعة وإدارة السياق والفشل | 25% |
| جودة القياسات وتوثيق الأدلة | 15% |
| تنظيم المشروع والتسليم عبر PR | 10% |
| المجموع | 100% |
get_practice_topic.تطوير Voice Agent احترافي لا ينتهي بمجرد نطق النموذج لإجابته. التجربة الناجحة تتطلب توقيتًا مناسبًا للأدوار، وإدارة للمقاطعة والسياق، وحدودًا واضحة لاستخدام الأدوات، وقياسًا واقعيًا لزمن الاستجابة، وسلوكًا مفهومًا عند حدوث خطأ.
مهام التسليم مستخرجة من المنهج. أضف خطواتك الخاصة هنا.
لا توجد مهام تطابق هذا الفلتر.
دوّن ما تعلمته، أسئلتك، وروابط العمل التي تريد العودة إليها.