اختبارات جديدة تقيس قدرة الذكاء الاصطناعي على تنفيذ المهام المهنية المعقدة
تقييمات جديدة تبحث في قدرة نماذج الذكاء الاصطناعي على إنجاز خطوات متعددة ضمن إجراءات مهنية، بدل الاكتفاء بالإجابة عن سؤال منفرد.
كيف نقيس أداء الذكاء الاصطناعي في العمل الحقيقي؟
تختلف المهام المهنية عن الأسئلة القصيرة؛ فقد تتطلب فتح ملفات، واستخراج معلومات، ومقارنة مستندات، وتطبيق قواعد محددة، ثم تقديم نتيجة يمكن مراجعتها. ولهذا تتجه أبحاث الذكاء الاصطناعي إلى تقييم الأنظمة داخل سيناريوهات عمل أكثر واقعية.
ومن أمثلة ذلك الاختبارات المرتبطة بالإجراءات التعاقدية، التي تتضمن سلسلة من الخطوات، وقد تتطلب التعامل مع معلومات موزعة بين مستندات أو واجهات مختلفة.
لماذا لا يكفي نجاح النموذج في سؤال منفرد؟
يمكن للنموذج أن يجيب بصورة صحيحة عن سؤال، لكنه قد يفشل عندما يحتاج إلى تنفيذ سلسلة طويلة من الخطوات. فقد يخطئ في استخراج معلومة، أو ينسى شرطًا سابقًا، أو يغير ملفًا بطريقة غير مقصودة.
لذلك ينبغي أن تقيس الاختبارات النتيجة النهائية، وصحة الخطوات الوسيطة، والقدرة على التعامل مع المعلومات الناقصة، ومدى التزام النظام بحدود صلاحياته.
ما معايير التقييم الجيد؟
من المهم أن تتضمن الاختبارات مهامًا متنوعة، وأن تُقاس النتائج وفق معايير محددة مسبقًا. كما يجب اختبار الأداء في الحالات الاستثنائية، لا في الأمثلة السهلة فقط.
ويجب ألا تقتصر المقارنة على سرعة الإنجاز؛ فالدقة، وقابلية المراجعة، وحماية البيانات، وتكلفة تصحيح الأخطاء عوامل لا تقل أهمية.
ماذا يعني ذلك للمؤسسات؟
قد تساعد هذه الاختبارات الشركات على تحديد المهام التي يمكن أتمتتها جزئيًا، والمهام التي تحتاج إلى إشراف بشري مستمر. لكن نتائج اختبار محدود لا تعني بالضرورة أن النظام سيؤدي بالكفاءة نفسها في كل مؤسسة أو قطاع.
