ماذا تفعل عندما يسترجع مساعد RAG السياسة الخاطئة؟

يمكن لمساعد يعتمد على التوليد المعزز بالاسترجاع (RAG) أن يقدم إجابة واثقة مستنداً إلى المستند الخطأ. قد يكون النموذج يعمل بشكل صحيح، بينما تكون طبقة الاسترجاع قد زودته بسياسة قديمة، أو نسخة خاصة بسوق مختلف، أو مقطع غير مكتمل.

لا تحتاج إلى إعادة بناء المساعد بالكامل للتحقيق في المشكلة. هذا الأسبوع، أنشئ مجموعة صغيرة من الأسئلة المعروفة، وافحص المصادر التي جرى استرجاعها، وأضف ضوابط في المكان الذي يحدث فيه الخلل فعلياً.

تعامل مع الإجابة الخاطئة باعتبارها مشكلة في الاسترجاع

لنفترض أن عميلاً يسأل: «هل يمكنني إرجاع أريكة مخصصة بعد التسليم؟». يسترجع المساعد صفحة عامة عن الإرجاع ويجيب: «نعم، خلال 14 يوماً». لكن سياسة منفصلة للطلبات المخصصة تنص على أن المنتجات المخصصة مستثناة.

المشكلة ليست بالضرورة أن نموذج اللغة الكبير (LLM) لا يستطيع فهم الاستثناء. ربما لم تصله هذه المعلومة أصلاً ضمن السياق. وإذا جرى استرجاع المقطع الخطأ، فلن يحل طلب «كن أكثر دقة» المشكلة الأساسية.

صنّف الخلل قبل تغيير البرومبتات:

• خلل في الاسترجاع: لم يُرجع النظام المستند أو المقطع الصحيح.
• خلل في الترتيب: أُرجع المقطع الصحيح، لكنه ظهر بعد مقطع أضعف.
• خلل في البيانات: المصدر قديم أو ناقص أو يتعارض مع مصادر أخرى.
• خلل في التوليد: كانت الأدلة الصحيحة متاحة، لكن الإجابة تجاهلتها.
• خلل في السياسة: كان ينبغي للمساعد أن يرفض الإجابة أو يحيل الحالة إلى موظف، بدلاً من الرد.

يساعدك هذا التصنيف على تجنب التجربة والخطأ المكلفة. احفظ سؤال المستخدم، والمقاطع المسترجعة، والبيانات الوصفية للمستند، والإجابة النهائية لكل مثال فاشل.

أنشئ مجموعة تقييم صغيرة من الأسئلة الحقيقية

لا تبدأ بمئات البرومبتات الاصطناعية للاختبار. استخرج عينة عملية من تذاكر الدعم، وعمليات البحث في الموقع، ومحادثات المبيعات، وأسئلة البريد الوارد التي لم تتم الإجابة عنها. أدرج أسئلة تتضمن استثناءات، واختلافات إقليمية، ومعلومات ناقصة.

على سبيل المثال، قد ينشئ متجر يخدم تركيا ودول الخليج 30 سؤال اختبار تغطي مناطق التوصيل، والإرجاع، والضمان، وطرق الدفع، والتركيب، وتوفر المنتجات. الرقم هنا توضيحي وليس شرطاً؛ المبدأ المهم هو اختبار الحالات التي قد تسبب خطراً على الأعمال.

لكل سؤال، سجّل أربع نتائج متوقعة:

1. الإجابة: ما الحقائق التي يجب تضمينها؟
2. المصدر: ما المستند أو السياسة المعتمدة؟
3. النطاق: ما الدولة أو اللغة أو المنتج أو نوع العميل المعني؟
4. الإجراء البديل: ماذا يجب أن يحدث إذا كانت المعلومات غير متاحة؟

أضف الحالات الصعبة عمداً. اختبر سؤال «ما سياسة الإرجاع لديكم؟» إلى جانب سؤال «هل يمكنني إرجاع منتج مخصص اشتريته في دبي؟». فالنظام الذي يحقق أداءً جيداً مع الأسئلة العامة فقط ليس جاهزاً للاستخدام أمام العملاء.

قيّم الاسترجاع بشكل منفصل عن الإجابة

استخدم ورقة مراجعة بسيطة تتضمن ثلاثة تقييمات:

• العثور على المصدر: هل جرى استرجاع المقطع المعتمد؟
• استخدام الدليل: هل عكست الإجابة ذلك المقطع بدقة؟
• سلامة الإجراء: هل تجنب المساعد تقديم وعد غير مدعوم؟

يساعدك ذلك على معرفة موضع تراجع الأداء. إذا كان المصدر مفقوداً في معظم حالات الفشل، فاعمل على تقسيم المستندات أو البيانات الوصفية أو البحث. أما إذا كان المصدر موجوداً لكن لم يُستخدم، فافحص البرومبت، وتنسيق السياق، واختيار النموذج.

أصلح بنية المستندات قبل تغيير النماذج

تنتج كثير من مشكلات RAG عن مستندات يصعب استرجاعها. فقد يكون ملف PDF طويل يتضمن قواعد التوصيل والإرجاع والضمان واضحاً للقارئ البشري، لكنه يصعب على النظام ربطه بسؤال محدد.

حسّن المواد المصدرية أولاً:

• قسّم السياسات الكبيرة إلى أقسام مفيدة بعناوين واضحة.
• اجعل كل جزء يركز على سؤال أو قاعدة واحدة.
• كرر النطاق الأساسي داخل النص، مثل «سياسة الإرجاع في الإمارات» أو «شروط التركيب في تركيا».
• أضف تواريخ بدء السريان والمراجعة.
• ضع علامة على المستندات المستبدلة باعتبارها غير نشطة بدلاً من تركها قابلة للبحث.
• خزّن البيانات الوصفية الخاصة بالمنتج والسوق واللغة ونوع العميل.
• حافظ على الاستثناءات مع القاعدة الرئيسية بدلاً من وضعها في ملحق غير ذي صلة.

يجب أن يعتمد تقسيم النص على المعنى، لا على عدد أحرف اعتباطي. فعادةً ينبغي إبقاء قاعدة الإرجاع والاستثناءات الخاصة بها معاً. وإذا كان القسم كبيراً جداً، فقسّمه حسب الموضوع مع تكرار الشروط اللازمة لفهم كل جزء.

استخدم البيانات الوصفية كحاجز تصفية، لا كوسم فقط

تصبح البيانات الوصفية أكثر فائدة عندما تُستخدم لتصفية نتائج الاسترجاع. إذا كان المستخدم يسأل عن طلب في الإمارات، فينبغي تفضيل سياسة الإمارات أو اشتراطها قبل النظر في السياسة العامة. وإذا كان السؤال يتعلق بفئة منتج محددة، فلا تضع سياسة عامة في مرتبة أعلى من قاعدة خاصة بالفئة من دون سبب.

انتبه عند استنتاج الموقع. فلغة العميل لا تحدد دائماً السوق الذي ينتمي إليه. وإذا كان السوق غير واضح وكانت الإجابة تختلف من دولة إلى أخرى، فاطرح سؤالاً توضيحياً بدلاً من التخمين.

أضف حاجزاً للمصدر والحالات البديلة

يجب ألا يتعامل المساعد مع كل مقطع مسترجع باعتباره إذناً بالإجابة. امنحه قواعد واضحة تتعلق بالأدلة ودرجة اليقين.

قد يطلب برومبت عملي من المساعد ما يلي:

• الإجابة عن أسئلة السياسات من المصادر المقدمة فقط.
• ذكر السوق أو نطاق المنتج ذي الصلة عندما يؤثر ذلك في الإجابة.
• عدم اختراع موعد نهائي أو سعر أو حالة مخزون أو شرط أهلية.
• توضيح وجود تعارض بين المصادر أو عدم احتوائها على الإجابة.
• طرح سؤال توضيحي واحد عندما يكون سوق العميل أو المنتج غير واضح.
• إحالة الحالات الحساسة إلى أحد أعضاء الفريق البشري.

يجب أن يكون الإجراء البديل قابلاً للتنفيذ، لا مبهماً. فعبارة «لست متأكداً» أقل فائدة من: «لا أستطيع تأكيد ما إذا كانت المنتجات المخصصة مؤهلة للإرجاع. يرجى مشاركة رقم طلبك حتى يتمكن فريق الدعم من مراجعة شروط الطلب».

بالنسبة إلى الموضوعات عالية المخاطر، مثل المبالغ المستردة، والشروط القانونية، والادعاءات الطبية، والقرارات المالية، أحِل الحالات غير المؤكدة إلى موظف. وغالباً ما يكون خفض معدل الأتمتة قليلاً أفضل من تقديم وعد غير مدعوم يؤدي إلى تصحيح مكلف لاحقاً.

تحكم في التكلفة مع تحسين الدقة

لا يتطلب تحسين الاسترجاع دائماً نموذجاً أكبر أو أكثر تكلفة. ابدأ بتقليل كمية السياق غير ذي الصلة الذي ترسله إلى النموذج. فعادةً يكون تقييم ثلاثة مقاطع مركزة أسهل من تقييم 15 مستنداً متقارباً بشكل فضفاض.

يمكنك أيضاً فصل المهام:

• استخدم خطوة خفيفة لتصنيف اللغة أو السوق أو النية.
• طبّق مرشحات البيانات الوصفية قبل البحث الدلالي متى أمكن.
• استرجع مجموعة صغيرة من المرشحين، ثم أعد ترتيبها فقط عندما يكون السؤال ملتبساً.
• استخدم نموذجاً أقوى للحالات المعقدة أو المُحالة، بدلاً من استخدامه مع كل رسالة.
• خزّن الإجابات المستقرة مؤقتاً فقط عندما لا تكون السياسة الأساسية قد تغيرت.

تتبّع التكلفة إلى جانب الجودة. على سبيل المثال، إذا تعامل المساعد مع 1,000 سؤال خلال شهر، فقارن متوسط تكلفة الاسترجاع والنموذج بعدد الإحالات إلى الموظفين والإجابات التي جرى تصحيحها. هذه مقاييس توضيحية؛ اختر نتائج الأعمال المهمة لفريقك.

قائمة عملية لإصلاح RAG

استخدم التسلسل التالي في أول تحقيق لك:

1. اجمع 20–30 سؤالاً حقيقياً نتجت عنه إجابات خطرة أو غير صحيحة.
2. احفظ المقاطع المسترجعة والبيانات الوصفية لكل سؤال.
3. حدّد المصدر المعتمد والإجراء البديل المتوقع.
4. أصلح المستندات القديمة أو المكررة أو سيئة البنية.
5. أضف البيانات الوصفية الخاصة بالسوق واللغة والمنتج وتاريخ السريان.
6. اختبر المرشحات والاسترجاع قبل تغيير النموذج.
7. أضف قواعد للتعامل مع عدم اليقين والتعارضات والإحالات.
8. أعد تشغيل الأسئلة نفسها وسجّل تقييمات المصدر والدليل والسلامة.
9. احتفظ بالمجموعة كاختبار تراجعي للتغييرات المستقبلية.

لا تحذف الأمثلة الفاشلة بعد تحسن المساعد. فهي أكثر الاختبارات قيمة لديك.

كيف يمكن لـ ADMOV مساعدتك؟

يمكن لـ ADMOV مساعدتك في إعداد نظام LLM ودمجه مع بيانات أعمالك الخاصة، بما يشمل تجهيز المستندات، وبنية RAG، واختيار النموذج، ومجموعات التقييم، ومرشحات البيانات الوصفية، والحواجز الوقائية. كما يمكننا ربط المساعد بموقعك الحالي أو نظام إدارة علاقات العملاء أو سير العمل الداخلي، حتى تصل الإجابات غير المؤكدة إلى الشخص المناسب بدلاً من تحولها إلى أخطاء صامتة.

احجز مكالمة مجانية لمراجعة إعداد RAG لديك وتحديد أولى مشكلات الاسترجاع التي ينبغي إصلاحها.