لماذا ننشر اختبارات التقييم مع النموذج

سيعرض عليكم كل مورّد للذكاء الاصطناعي عرضًا تجريبيًا يعمل. والسؤال المهم هو: على أي شيء اختُبر هذا العرض، وهل يُسمح لكم برؤيته؟

ننشر مجموعة اختبارات التقييم قبل أن نختار النموذج. لا بعد بناء النموذج بوصفها توثيقًا، بل قبله بوصفها المواصفات. توضع المجموعة في مستودع الشيفرة الخاص بكم، مع التصنيفات، والخلافات بين من صنّفوها، ومقاييس خط الأساس لما تفعلونه اليوم أيًّا كان. وإن قررتم عدم المضي قدمًا، تحتفظون بها. إنها أنفع ما تخرج به مرحلة الاستكشاف مهما حدث بعد ذلك.

ما الغرض من مجموعة اختبارات التقييم؟

ثلاثة أمور. أولًا، تحدد المهمة. فعبارة «فرز مطالبات تأمين السيارات» لا تعني شيئًا حتى يكون لديكم نحو ألفين من المطالبات، صنّفها من يؤدون العمل اليوم، مع تمييز الحالات التي اختلفوا فيها. ثانيًا، تحدد متى يُعدّ العمل منجزًا. فالحد المطلوب على مجموعة الاختبارات هو معيار القبول في وثيقة نطاق العمل، وهو رقم لا صفة. ثالثًا، تحدد الانحراف. فحين تبتعد البيانات الفعلية عن مجموعة الاختبارات، يصدر تنبيه ويعيد أحدهم التصنيف. وهذا التنبيه من المخرجات أيضًا.

لماذا لا يفعل المورّدون ذلك؟

لأن مجموعة اختبارات التقييم تجعل حدود النموذج مرئية، والحدود صعبة البيع. العرض التجريبي على مجموعة منتقاة يبدو ممتازًا؛ والنموذج نفسه على الحركة الحقيقية للشهر الماضي يبدو مختلفًا جدًا، وفي هذه الفجوة يموت المشروع، بعد أشهر من بدايته. ونشر المجموعة ينقل هذا الحديث إلى البداية، حين يكون رخيصًا.

كم يكلّف ذلك؟

بضعة أيام من وقت كبار موظفيكم، لمجموعة من بضعة آلاف من الأمثلة، محسوبة ضمن ميزانية مرحلة الاستكشاف. يتولى كبار موظفيكم التصنيف، لا نحن، لأنهم أصحاب المعرفة. ونحن نصمم المنهجية، وندير الجلسات، ونسجّل الخلافات بدل حسمها. والخلافات هي الجزء الأغنى بالمعلومات؛ فهي تخبركم أين سيحتاج النموذج إلى إنسان في كل الأحوال.

هكذا يبدأ كل مشروع ذكاء اصطناعي وأتمتة. وهكذا بدأت حالة مصنع الأثاث أيضًا: اتُّفق على مقاييسها كتابيًا قبل بناء أي شيء.

إن لم يُطلعكم مورّد على مجموعة اختبارات التقييم، فاسألوه على أي أساس يقيس النموذج. وإن كان الجواب عرضًا تجريبيًا، فالعرض التجريبي هو ما تشترونه.