خمسة فحوصات قبل توزيع مهام الأعمال بين نماذج LLM

قد يكون نموذج أقل تكلفة مناسباً تماماً لتصنيف استفسار، لكنه قد لا يكون الخيار الأفضل لتلخيص عقد أو إعداد رد موجّه إلى عميل. وتكتشف شركات كثيرة ذلك بعد ارتفاع التكاليف، أو تذبذب جودة الإجابات، أو وصول معلومات خاصة إلى مسار عمل غير مناسب.

الحل العملي ليس اختيار نموذج واحد باعتباره «الأفضل». بل إنشاء سياسة توزيع تربط كل مهمة بمستوى الجودة المطلوب، ونطاق الوصول إلى البيانات، وسرعة الاستجابة، ومستوى المراجعة البشرية. تمنحك هذه الفحوصات الخمس سياسة قابلة للتطبيق من دون إعادة بناء نظام الذكاء الاصطناعي بالكامل.

1. صنّف المهام حسب مستوى المخاطر، لا حسب القسم

قد يستخدم فريق التسويق وفريق الدعم نموذج LLM نفسه، لكن عواقب المهام التي ينفذها كل فريق قد تكون مختلفة تماماً. فمن السهل مراجعة مسودة تعليق تسويقي، بينما يحتاج قرار استرداد مبلغ، أو مواصفة منتج، أو شرح قانوني إلى ضوابط أقوى.

اكتب قائمة بالمهام التي تريد من الذكاء الاصطناعي تنفيذها، ثم قيّم كل مهمة وفق أربعة أسئلة:

• ماذا يحدث إذا كانت الإجابة خاطئة؟
• هل تستخدم المهمة معلومات خاصة أو خاضعة للتنظيم؟
• هل سيراجع شخص المخرجات قبل وصولها إلى العميل؟
• هل تتطلب المهمة بيانات حديثة من الشركة؟

بعد ذلك، اجمع المهام في ثلاثة مستويات عملية:

• مخاطر منخفضة: التصنيف، وإضافة الوسوم، واكتشاف اللغة، والملخصات الداخلية، وإعداد المسودات الأولى للمحتوى.
• مخاطر متوسطة: الردود على استفسارات الدعم، ومقارنات المنتجات، وتأهيل العملاء المحتملين، والتوصيات الداخلية.
• مخاطر مرتفعة: الالتزامات السعرية، والقرارات المالية، والإجابات الحساسة من ناحية الامتثال، والإجراءات التي تغيّر السجلات أو تتواصل تلقائياً مع العملاء.

يحدد هذا التصنيف بقية إعدادات النظام. لا توجّه كل المهام إلى النموذج الأقوى لمجرد أنه يقدم أداءً جيداً في عرض تجريبي.

2. حدّد الحد الأدنى للجودة المطلوبة لكل مهمة

يصبح اختيار النموذج أوضح عندما تكون عبارة «جيد بما يكفي» قابلة للقياس. اكتب اختبار قبول مختصراً لكل مهمة قبل مقارنة النماذج.

بالنسبة إلى مساعد يجيب عن أسئلة المنتجات، قد يتطلب الاختبار أن يقوم المساعد بما يلي:

• استخدام اسم المنتج والإصدار الصحيحين.
• عدم اختلاق معلومات عن المخزون أو مواعيد التسليم أو المواصفات.
• الاستناد إلى مصدر الكتالوج أو سياسة الشركة ذات الصلة.
• الإجابة بلغة العميل.
• تصعيد الحالة عند غياب المعلومات.

أما اختبار مصنّف العملاء المحتملين فقد يكون أبسط بكثير: تحديد النية الصحيحة، وتسجيل المنتج المطلوب، والإشارة إلى درجة عدم اليقين عندما يكون التعليق غير واضح.

أنشئ مجموعة اختبار صغيرة من أمثلة تاريخية حقيقية. على سبيل المثال، اجمع 30 استفساراً تشمل الحالات الشائعة والصعبة والملتبسة. حدّد النتيجة المتوقعة يدوياً، وأزل البيانات الشخصية غير الضرورية، واستخدم المجموعة نفسها عند تغيير النموذج أو التعليمات.

الهدف ليس إنشاء معيار مثالي. بل إجراء مقارنة قابلة للتكرار تمنع اعتماد نموذج أقل تكلفة لمجرد أنه تعامل جيداً مع ثلاثة أمثلة سهلة.

3. وزّع المهام حسب التعقيد والتعرّض للبيانات الخاصة

تتضمن سياسة التوزيع المفيدة عادةً ثلاثة مسارات على الأقل:

المسار السريع للمهام البسيطة

استخدم نموذجاً أسرع وأقل تكلفة للأعمال المنظمة، مثل اكتشاف اللغة، وتصنيف النية، واستخراج الحقول، أو تصفية الرسائل المزعجة. واجعل صيغة المخرجات صارمة، مثل مخطط JSON صغير لا يسمح إلا بمجموعة محددة من الوسوم.

مسار المعرفة للإجابات المستندة إلى مصادر

عندما تحتاج المهمة إلى معلومات من الشركة، استرجع المستندات أو سجلات الكتالوج ذات الصلة أولاً. مرّر إلى النموذج السياق الضروري فقط. يجب أن يجيب النموذج بالاستناد إلى هذه المصادر، لا إلى ذاكرته العامة.

هنا يفيد التوليد المعزّز بالاسترجاع، أو RAG. فهو لا يجعل النموذج صادقاً تلقائياً، لكنه يمنحه مجموعة أدلة مضبوطة ويسمح لك بالتحقق من أن الإجابة مدعومة بالمصدر.

مسار المراجعة للإجراءات عالية التأثير

استخدم نموذجاً أقوى، وتعليمات أضيق نطاقاً، وموافقة بشرية للقرارات التي قد تسبب ضرراً مالياً أو تشغيلياً أو لسمعة الشركة. يمكن للنموذج إعداد التوصية، لكن يجب أن يعتمد الإجراء شخص أو قاعدة أعمال حتمية.

يمكن لوحدة التوزيع استخدام إشارات بسيطة، مثل نوع المهمة، واللغة المطلوبة، وتوفر المستندات، وقيمة العميل، ودرجة الثقة، وما إذا كان الإجراء المطلوب سيغيّر سجلاً في أحد الأنظمة.

4. أضف الضوابط قبل تحسين التكلفة

يكون خفض التكلفة مفيداً فقط إذا لم يؤدِ إلى زيادة العمل اليدوي أو شكاوى العملاء. أضف الضوابط عند حدود مسار العمل، بدلاً من الاعتماد على تعليمات النموذج وحدها.

تشمل الضوابط المفيدة ما يلي:

• تصفية المدخلات: إزالة الأسرار والبيانات الشخصية غير الضرورية وأنواع الملفات غير المدعومة قبل المعالجة.
• التحكم في الوصول: استرجاع المستندات التي يُسمح لمسار العمل والمستخدم بالوصول إليها فقط.
• مخططات المخرجات: إلزام النموذج بحقول ثابتة للتصنيفات والبيانات المستخرجة والإجراءات.
• التحقق من المصادر: رفض الإجابات أو وضع علامة عليها إذا تضمنت ادعاءات لا يدعمها المحتوى المسترجع.
• التعامل مع درجة الثقة: إرسال الحالات غير المؤكدة أو الناقصة إلى قائمة مراجعة.
• حدود الإجراءات: منع الوكيل من إصدار عمليات استرداد أو تغيير الأسعار أو إرسال الرسائل من دون موافقة صريحة.
• سجلات التدقيق: تسجيل المهمة، ومسار النموذج، والمستندات المصدرية، والنتيجة، وقرار المراجع.

يجب أن يكون المسار البديل واضحاً أيضاً. فإذا انتهت مهلة النموذج المفضل، يمكن للمسار البديل إعداد مسودة للمراجعة بدلاً من تنفيذ إجراء لا يمكن التراجع عنه بصمت.

5. احسب التكلفة الإجمالية، لا سعر الرموز فقط

ليس النموذج الأرخص لكل طلب هو بالضرورة الخيار الأقل تكلفة لمسار العمل. احسب استخدام النموذج، والاسترجاع، والتخزين، وإعادة المحاولات، والمراجعة البشرية، وتكلفة تصحيح الأخطاء.

على سبيل المثال، إذا عالج نموذج بسيط 1,000 عملية تصنيف منخفضة المخاطر وأرسل 12% منها إلى المراجعة، فقد يظل مسار العمل فعالاً. وإذا خفّض نموذج أكثر قدرة نسبة المراجعة إلى 5% لكنه كلف أكثر بكثير، فقارن التكلفة الإجمالية للمسارين، لا بند واجهة البرمجة وحده. هذه أرقام توضيحية وليست معياراً مرجعياً.

تابع، على الأقل، المؤشرات التالية لكل مسار:

• تكلفة المهمة المكتملة.
• متوسط زمن الاستجابة وأسوأ زمن مسجل.
• نسبة النجاح في مجموعة الاختبار الثابتة.
• معدل التصعيد وإعادة المحاولة.
• معدل الإجابات غير المدعومة بالمصادر.
• معدل التصحيح البشري.
• الأثر على العميل أو العمليات عند مرور خطأ دون اكتشاف.

راجع البيانات حسب نوع المهمة. فقد يكون نموذج ما اقتصادياً في تصنيف النصوص التركية لكنه ضعيف في شرح المنتجات باللغة العربية، أو موثوقاً في إجابات الكتالوج القصيرة لكنه ضعيف عند التعامل مع مستندات السياسات الطويلة. يجب أن يعكس التوزيع هذه الفروقات.

قائمة تحقق عملية لتوزيع المهام

قبل ربط مسار عمل آخر بنموذج LLM، تأكد من الآتي:

1. للمهمة اختبار نجاح مكتوب ومستوى مخاطر محدد.
2. الحد الأدنى لجودة النموذج المقبولة واضح.
3. تمت تصفية البيانات الخاصة والتحكم في الوصول إليها.
4. اقتصرت المصادر المسترجعة على ما تحتاجه المهمة.
5. تستخدم المخرجات مخططاً أو قاعدة لدرجة الثقة أو قائمة مراجعة عند الحاجة.
6. تتطلب الإجراءات عالية التأثير موافقة أو فحوصات حتمية.
7. تُسجّل التكلفة والسرعة والتصحيحات والتصعيدات لكل مسار.
8. يوجد مسار بديل لانتهاء المهلة، ونقص البيانات، والطلبات غير المدعومة.

اختبر سياسة التوزيع باستخدام أمثلة تاريخية قبل طرحها أمام العملاء الفعليين. واحتفظ بعينة من الحالات الطرفية، ثم أعد تشغيل الاختبار بعد تغيير النموذج أو التعليمات أو إعدادات الاسترجاع أو قواعد العمل.

كيف يمكن لـ ADMOV مساعدتك؟

يمكن لـ ADMOV تصميم ودمج طبقة لتوزيع مهام LLM حول أدواتك الحالية أو الكتالوج أو نظام إدارة علاقات العملاء أو مسار دعم العملاء. نستطيع تصنيف مهامك حسب المخاطر، وإعداد مجموعة اختبار خاصة، وربط مصادر RAG، وإضافة إخفاء البيانات وضوابط الوصول، وإنشاء مسارات بديلة خاصة بكل نموذج مع تسجيل التكلفة والجودة.

والنتيجة نظام ذكاء اصطناعي عملي يستخدم قدرات الاستدلال الأقوى حيث تكون ضرورية، ويتجنب دفع تكلفتها عندما لا تكون مطلوبة. احجز مكالمة مجانية لمراجعة مسارات العمل الحالية واختيار خطة توزيع مناسبة.