हम मॉडल के साथ टेस्ट सेट क्यों प्रकाशित करते हैं

हर एआई वेंडर आपको एक ऐसा डेमो दिखाएगा जो चलता है। दिलचस्प सवाल यह है कि डेमो को किस चीज़ पर परखा गया था, और क्या आपको वह देखने की इजाज़त है।

हम मॉडल चुनने से पहले टेस्ट सेट प्रकाशित करते हैं। मॉडल बनने के बाद दस्तावेज़ के तौर पर नहीं, बल्कि पहले, स्पेसिफ़िकेशन के तौर पर। यह सेट आपकी रिपॉज़िटरी में जाता है, लेबल के साथ, लेबल लगाने वालों के आपसी मतभेदों के साथ, और आज आप जो भी कर रहे हैं उसके बेसलाइन मेट्रिक्स के साथ। अगर आप आगे न बढ़ने का फ़ैसला करें, तो भी यह आपके पास रहता है। आगे जो भी हो, शुरुआती पड़ताल से निकलने वाली सबसे काम की चीज़ यही है।

टेस्ट सेट किसलिए है?

तीन चीज़ों के लिए। पहली, यह काम को परिभाषित करता है। “मोटर क्लेम की छँटाई करो” का कोई मतलब नहीं, जब तक आपके पास दो-एक हज़ार ऐसे क्लेम न हों जिन पर लेबल वे लोग लगाएँ जो आज यह काम करते हैं, और जिन पर उनकी राय अलग थी, उन पर इसका निशान हो। दूसरी, यह तय करता है कि काम कब पूरा माना जाएगा। टेस्ट सेट पर एक थ्रेशोल्ड ही काम के लिखित ब्योरे में स्वीकृति की शर्त होता है, और वह एक संख्या होता है, कोई विशेषण नहीं। तीसरी, यह भटकाव को परिभाषित करता है। जब असली काम में आने वाला डेटा टेस्ट सेट से दूर जाने लगता है, तो अलर्ट आता है और कोई फिर से लेबल लगाता है। वह अलर्ट भी सौंपे जाने वाले काम का हिस्सा है।

वेंडर ऐसा क्यों नहीं करते?

क्योंकि टेस्ट सेट मॉडल की सीमाएँ सामने ले आता है, और सीमाएँ बेचना मुश्किल है। चुनकर रखे गए उदाहरणों पर डेमो शानदार दिखता है; वही मॉडल पिछले महीने के असली काम पर बहुत अलग दिखता है, और इसी फ़ासले में प्रोजेक्ट महीनों बाद दम तोड़ता है। सेट प्रकाशित करने से यह बातचीत शुरुआत में ही हो जाती है, जब यह सस्ती होती है।

इसका ख़र्च क्या है?

कुछ हज़ार उदाहरणों के सेट के लिए आपके सीनियर लोगों के कुछ दिन, जो शुरुआती पड़ताल के बजट में ही शामिल होते हैं। लेबल आपके सीनियर लोग लगाते हैं, हम नहीं, क्योंकि जानकार वही हैं। हम तरीक़ा तय करते हैं, सेशन चलाते हैं, और मतभेदों को सुलझाने के बजाय दर्ज करते हैं। सबसे ज़्यादा जानकारी इन्हीं मतभेदों से मिलती है; ये बताते हैं कि किन जगहों पर मॉडल को हर हाल में किसी इंसान की ज़रूरत होगी।

हर एआई और ऑटोमेशन प्रोजेक्ट इसी तरह शुरू होता है। फ़र्नीचर निर्माता का केस भी ऐसे ही शुरू हुआ था: कुछ भी बनने से पहले उसके पैमाने लिखित में तय हुए थे।

अगर कोई वेंडर आपको टेस्ट सेट नहीं दिखाता, तो पूछें कि वे मॉडल को किसके मुक़ाबले नाप रहे हैं। अगर जवाब डेमो है, तो आप डेमो ही ख़रीद रहे हैं।