ماذا تفعل عندما يعطي مساعد الذكاء الاصطناعي إجابات مختلفة؟

يصعب الوثوق بمساعد ذكاء اصطناعي يعطي إجابات مختلفة عن السؤال نفسه من العميل. قد تكون المشكلة في النموذج، أو البيانات المسترجعة، أو تغيّر التعليمات، أو عدم وضوح قاعدة العمل؛ وليس بالضرورة أن يكون النموذج «سيئاً».

هذا الأسبوع، أنشئ مجموعة تقييم صغيرة واستخدمها لتحديد مصدر عدم الاتساق. ستتمكن عندها من اتخاذ قرار أوضح بشأن ما يجب إصلاحه، والنموذج الأنسب، والمواضع التي تحتاج إلى ضوابط صارمة.

أولاً، ميّز بين الاختلاف والخطأ

ليست كل إجابة مختلفة مشكلة. فعندما يطلب العميل توصيات لمنتجات، قد تكون عدة إجابات مقبولة. أما عندما يسأل عن مهلة الإرجاع، أو رسوم التوصيل، أو شروط الضمان، فقد يؤدي اختلاف الإجابة إلى مخاطر تشغيلية وقانونية.

أنشئ فئتين:

• إجابات مرنة: التوصيات، والشروحات، والعصف الذهني، ونبرة التواصل.
• إجابات ثابتة: الأسعار، وقواعد الأهلية، وشروط الشحن، وفترات استرداد المبالغ، وخطوات الإجراءات الداخلية.

الهدف ليس جعل كل إجابة مطابقة للأخرى. الهدف هو أن تكون كل إجابة صحيحة عندما تكون قاعدة العمل ثابتة، ومفيدة بالقدر المناسب عندما تكون هناك عدة إجابات صحيحة.

على سبيل المثال، إذا كانت سياسة المتجر تسمح بالإرجاع خلال 14 يوماً، فلن تكون إجابة تقول 14 أو 15 أو 30 يوماً مقبولة. أما إذا سأل العميل أيّاً من ثلاث كنبات قد يناسب غرفة معيشة صغيرة، فقد تكون عدة اقتراحات منطقية.

أنشئ مجموعة تقييم من 30 سؤالاً

استخدم أسئلة حقيقية من تذاكر الدعم، وتعليقات Instagram، ورسائل WhatsApp، ومكالمات المبيعات، أو كتالوج المنتجات. لا تنشئ أسئلة سهلة فقط، بل أدرج الحالات التي تكشف ضعف استرجاع البيانات أو غموض التعليمات.

يمكن أن تتضمن المجموعة العملية ما يلي:

• 10 أسئلة شائعة من العملاء
• 5 أسئلة تتعلق بخصائص المنتجات
• 5 أسئلة عن السياسات أو الأهلية
• 5 أسئلة تتضمن معلومات ناقصة أو غامضة
• 5 أسئلة يجب على المساعد رفضها أو تصعيدها أو طلب توضيح بشأنها

ضع تصنيفاً لكل سؤال يوضح السلوك المتوقع. ولا يشترط أن يكون التصنيف إجابة كاملة دائماً، بل يمكن أن يكون كالتالي:

• يجب أن يتضمن: «فترة إرجاع مدتها 14 يوماً»
• يجب ألا يدّعي: تاريخ توصيل لم يتم التحقق منه
• يجب أن يسأل عن: بلد العميل
• يجب أن يصعّد إلى موظف: نزاع بشأن منتج تالف
• يجب أن يستشهد بـ: سياسة داخلية أو سجل المنتج ذي الصلة

بهذه الطريقة، يصبح لديك اختبار قابل للاستخدام، بدلاً من مراجعة عامة تعتمد على ما إذا كان شخص ما «يعجب» بالإجابة.

أضف تنويعات واقعية في اللغة

إذا كان نشاطك يخدم العملاء في تركيا ودول الخليج، فاكتب بعض الأسئلة باللغات والأساليب التي يستخدمها العملاء فعلياً. أدرج الرسائل القصيرة، والأخطاء الإملائية، والمزج بين العربية والإنجليزية، والاختصارات التركية، والعبارات غير الرسمية عند الحاجة.

لا تترجم كل سؤال ترجمة آلية. فقد يختبر سؤال مثل «كم سعر الشحن؟» وسؤال آخر مثل «How much is shipping to Riyadh?» قواعد مختلفة للبيانات والتوجيه، حتى لو كانت النية متشابهة.

شغّل الأسئلة نفسها أكثر من مرة

أرسل كل سؤال من أسئلة التقييم إلى المساعد عدة مرات، باستخدام النسخة نفسها من التعليمات ومصدر المعرفة نفسه. سجّل الإجابة، والمستندات المسترجعة، والنموذج المستخدم، ووقت الاستجابة، والتكلفة التقديرية.

بالنسبة إلى شركة صغيرة، قد تكون ثلاث محاولات لكل سؤال كافية للفحص الأولي. فإذا كان لديك 30 سؤالاً، فستحصل على 90 إجابة؛ وهو عدد يكشف الأنماط من دون تحويل الاختبار إلى مشروع كبير.

قيّم كل إجابة باستخدام مقياس بسيط:

• 2 — ناجحة: صحيحة وذات صلة وتتبع السلوك المطلوب
• 1 — تحتاج إلى مراجعة: مفيدة عموماً لكنها ناقصة أو غير واضحة أو تفتقر إلى مرجع
• 0 — فاشلة: تتضمن معلومات خاطئة، أو تختلق معلومات، أو تكشف محتوى مقيّداً، أو تتجاهل قاعدة التصعيد

استخدم أمثلة قابلة للقياس بدلاً من الانطباعات. فعبارة «تبدو واثقة» ليست مقياساً موثوقاً للجودة. أما عبارة «تذكر فترة الإرجاع الصحيحة ولا تعد باسترداد المبلغ قبل الفحص» فهي قابلة للقياس.

شخّص المصدر قبل تغيير النموذج

عندما تفشل إجابة، صنّف سبب الفشل. فهذا يمنع الخطأ الشائع المتمثل في تغيير النموذج بينما تكون المشكلة الحقيقية في بيانات العمل الناقصة أو سيئة التنظيم.

إذا كانت المعلومات المسترجعة خاطئة

قد يكون المساعد قد تلقى سياسة قديمة، أو نسخة مختلفة من المنتج، أو عدة مستندات متعارضة. افحص المقاطع المسترجعة قبل تعديل التعليمات.

تشمل الإصلاحات المفيدة ما يلي:

• تعيين مسؤول وتاريخ تحديث لكل سياسة
• حذف المستندات المكررة أو القديمة
• فصل سجلات المنتجات حسب رمز SKU أو النسخة
• إضافة بيانات وصفية للبلد واللغة وشريحة العميل
• إلزام المساعد بذكر عدم توفر مصدر موثوق عند غيابه

إذا لم تكن الإجابة الصحيحة موجودة في قاعدة المعرفة، فلن يتمكن أي نموذج من استرجاعها بشكل موثوق. حدّث المصدر أولاً.

إذا كانت المعلومات صحيحة لكن الإجابة خاطئة

قد تكون التعليمات غامضة. استبدل توجيهات عامة مثل «كن مفيداً» بقواعد واضحة:

• استخدم معلومات المنتجات والسياسات المقدمة فقط عند ذكر الحقائق.
• لا تستنتج حالة المخزون أو مواعيد التوصيل أو الخصومات.
• اطرح سؤالاً توضيحياً واحداً عندما تكون معلومة مطلوبة ناقصة.
• صعّد الشكاوى المتعلقة بالاسترداد أو التلف أو الاحتيال المحتمل.
• حافظ على لغة العميل ما لم يطلب لغة أخرى.

بعد ذلك، أعد تشغيل الأسئلة التي فشل فيها المساعد. غيّر ضابطاً واحداً في كل مرة حتى تعرف أي تعديل أدى إلى التحسن.

إذا كانت الجودة جيدة لكن التكلفة أو السرعة غير مناسبة

لا ترسل كل طلب تلقائياً إلى أقوى نموذج. أنشئ قواعد توجيه بسيطة تعتمد على مستوى المخاطر والتعقيد.

على سبيل المثال:

• استخدم نموذجاً أقل تكلفة لاكتشاف النية، وتصنيف اللغة، واستخراج أرقام الطلبات.
• استخدم نموذجاً أقوى لشرح السياسات المعقدة، أو مقارنة المنتجات متعددة الخطوات، أو حالات التصعيد الحساسة.
• استخدم إجابة ثابتة أو عملية بحث منظمة للقيم الدقيقة مثل رسوم الشحن وفترات الإرجاع.

هذه خيارات تشغيلية وليست قواعد تقنية عامة. اختبرها باستخدام مجموعة التقييم، وقِس الجودة والتكلفة معاً.

أضف ضوابط للإجابات عالية المخاطر

لا تلغي النتيجة الجيدة في الأسئلة الشائعة الحاجة إلى الضوابط. أضف فحصاً نهائياً قبل وصول الإجابة إلى العميل.

يمكن للفحص التحقق من أن:

• السعر أو الخصم أو وعد التوصيل مستند إلى مصدر معتمد.
• جميع الحقول المطلوبة موجودة.
• الإجابة لا تكشف الملاحظات الداخلية أو البيانات الشخصية.
• يتم توجيه طلبات الاسترداد أو الشكاوى أو المسائل القانونية إلى موظف.
• اللغة تطابق لغة طلب العميل.

بالنسبة إلى قواعد العمل الثابتة، فكّر في استخدام بيانات منظمة أو سير عمل حتمي بدلاً من مطالبة نموذج اللغة الكبير بحساب الإجابة أو تذكرها. يمكن للنموذج شرح النتيجة، بينما يزوّد النظام القيمة الدقيقة.

قائمة عملية لتقييم المساعد

استخدم التسلسل التالي مع فريقك:

1. اجمع 30 سؤالاً حقيقياً وحدد السلوك المتوقع لكل سؤال.
2. ميّز بين الإجابات المرنة والإجابات التي يجب أن تكون دقيقة.
3. شغّل كل سؤال ثلاث مرات واحفظ السجل الكامل.
4. قيّم الإجابات على أنها ناجحة أو تحتاج إلى مراجعة أو فاشلة.
5. صنّف حالات الفشل إلى مشكلات بيانات أو تعليمات أو نموذج أو توجيه أو ضوابط.
6. أصلح فئة المشكلات الأعلى خطراً أولاً.
7. أعد تشغيل المجموعة نفسها قبل تغيير أي شيء آخر.
8. احتفظ بمجموعة الاختبار كفحص قبل إطلاق أي تغييرات مستقبلية في التعليمات أو البيانات أو النموذج.

إذا لم يكن لديك 30 سؤالاً قابلاً للاستخدام، فابدأ بـ10 أمثلة عالية المخاطر ووسّع المجموعة مع وصول محادثات حقيقية جديدة. الاختبار الصغير القابل للتكرار أكثر قيمة من اختبار كبير لا يحافظ عليه أحد.

كيف يمكن لـ ADMOV مساعدتك؟

يمكن لـ ADMOV مساعدتك في إعداد سير عمل لتقييم LLM يعتمد على أسئلة عملائك الحقيقية، وبيانات شركتك الخاصة، وقواعدك التشغيلية. نستطيع تنظيم مصادر المعرفة، وتحديد ضوابط الاسترجاع والتصعيد، ومقارنة مسارات النماذج، وإنشاء عملية مراجعة قابلة للتكرار للتفاعلات بالعربية والتركية والإنجليزية.

والنتيجة ليست مجرد اختيار نموذج. بل نظام عملي يوضح متى يكون المساعد موثوقاً، ومتى ينبغي أن يطلب توضيحاً، ومتى يجب أن يتولى موظف بشري المحادثة. احجز مكالمة مجانية لمراجعة إعدادك.