लागत का मॉडल भी हम सौंपते हैं

लैंग्वेज मॉडल का पायलट लगभग मुफ़्त पड़ता है। दिन में एक हज़ार रिक्वेस्ट का ख़र्च उस मीटिंग की कॉफ़ी से भी कम होता है, जिसमें उसे मंज़ूरी मिली थी। वही सिस्टम, दिन में साठ हज़ार रिक्वेस्ट पर, रीट्राई, रिट्रीवल के एक क़दम और जाँच के एक दौर के साथ, बजट की ऐसी मद बन जाता है जिस पर फ़ाइनेंस डायरेक्टर बात करना चाहेंगे, और तब तक आर्किटेक्चर तय हो चुका होता है।

हम लागत के मॉडल को कोड जितना ही दर्जा देते हैं: वह भी सौंपे जाने वाले काम का हिस्सा है। उसे बेसलाइन के साथ, कोई भी मॉडल चुनने से पहले प्रकाशित किया जाता है, हर दो हफ़्ते संशोधित किया जाता है, और उसी पुल रिक्वेस्ट में उसका रिव्यू होता है जिसमें उस पर असर डालने वाला बदलाव होता है।

मॉडल में क्या होता है?

हर रिक्वेस्ट पर: अंदर जाने वाले टोकन, बाहर आने वाले टोकन, रीट्राई समेत मॉडल को की गई कॉल की गिनती, रिट्रीवल का ख़र्च, और इन्फ़्रास्ट्रक्चर का हिस्सा। हर महीने पर: घंटे के हिसाब से रिक्वेस्ट की मात्रा, क्योंकि मात्रा एक-सी नहीं रहती, और प्रोवाइडर की रेट लिमिट भी नहीं। हर फ़ैसले पर: थ्रेशोल्ड बदलने से कितनी रिक्वेस्ट किसी इंसान तक पहुँचने लगती हैं, क्योंकि इंसान सिस्टम का सबसे महँगा हिस्सा है, और मॉडल का काम उसका अच्छा इस्तेमाल करना है।

इससे आर्किटेक्चर कैसे बदलता है?

उदाहरण के लिए, छँटाई करने वाला एक सिस्टम लें। हर आइटम की लागत शायद ही कभी किसी सस्ते मॉडल की वजह से घटती है। वह घटती है, क्योंकि रिट्रीवल का क़दम कैश हो जाता है, क्योंकि आसान मामले एक छोटे क्लासिफ़ायर की ओर भेज दिए जाते हैं, और क्योंकि रीट्राई का ऐसा लूप पकड़ में आकर ठीक होता है जो डेमो में कभी चला ही नहीं। इनमें से हर बदलाव इसलिए होता है, क्योंकि लागत का मॉडल दिखाता है कि पैसा कहाँ जा रहा है। उसके बिना टीम मॉडल चुनने पर बहस करती रहती है, जो आम तौर पर वही एक चीज़ है जिससे फ़र्क़ नहीं पड़ता।

इसीलिए हर एआई और ऑटोमेशन और डेटा और एनालिटिक्स प्रोजेक्ट में लागत का मॉडल नाम लेकर सौंपी जाने वाली चीज़ है, और हमारी बिलिंग में एक चरण।

यह रहता कहाँ है?

आपकी रिपॉज़िटरी में, टेस्ट सेट के बगल में, एक स्प्रेडशीट के रूप में भी और टेलीमेट्री के रूप में भी। टेलीमेट्री वह हिस्सा है जो इसे ईमानदार रखता है: स्प्रेडशीट बताती है कि हमने क्या उम्मीद की थी, हर रिक्वेस्ट के लॉग बताते हैं कि असल में क्या हुआ, और हर दो हफ़्ते की समीक्षा में दोनों का मिलान होता है। हमारे जाने के बाद यह समीक्षा प्लेटफ़ॉर्म लीड के हाथ में होती है, और वे इसे बदलने के लिए आज़ाद हैं। असल बात यही है।